LogをAmazon S3にお手軽保存

構成が大きくなればFlumeという選択肢もあるのだろうけど、個人運営規模のサイトならLogrotateのhookを使う方式がお手軽でよろしい。

S3に//YYYY/MM/DD/hh_mm_ss/*log.2.gz という形式で格納される。日付範囲指定でAmazon EMR処理するのも簡単。

Posted in ソフトウェア開発 | Tagged , | Leave a comment

まだベータですが…

ここの所ブログ更新をサボっていたのはUCSCのデータ分析クラスの宿題が重かったのもあるが、こんなサイトの開発をしていたから。→http://beta.food-off.net/

Miilという食事写真共有サイトの画像を無作為に2つ抽出して閲覧。それではつまらないので、おいしそうと思った方をクリックしていただく。で、その勝敗数をひたすら記録していく。ただそれだけです。はい。ただ、データがたまっていけば「おいしそうな食事写真王者」も見えてくるでしょうからみなさん暇な時には是非Food-Offにアクセスして猿のようにクリックしてみてください。

ちなみに私はMiil社とはなんの関係もなく、プログラミングやクラウドに関する知識を習得する目的で立ち上げたものです。Miil勝手応援隊を名乗っています。

仕組み
#miilタグ付きで公開されたTweetを検索し、そこから無作為に2つの画像を選んでいます。鍵付きアカウントからは取り込めません。あとTwitter API使ってるのでAPI上限に引っかかると写真取り込みが止まります。要はMiilに投稿された写真全ては取り込めませんよ、ということです。

取り込むといっても写真データをFood-Offにコピーしているわけではなく、Miil APIを使っているだけです。APIを公開してくれたmasuidriveさんに感謝。

サーバーはAmazon EC2使ってます。条件反射的にUS-Eastにインスタンス作っちゃう癖があるのでベータ版も米国東海岸のどこかで動いています。正式公開時には多くのユーザがいる日本のTokyo Regionにサーバ移設します。

現時点ではEC2 Small一基。これでどこまで耐えられるか実験中。

中身はPython+Django+MySQLです。No-SQLとかかっこいいと思いましたがなんだかんだいってDjangoのModelはよくできておる。性能限界が来るくらい使われれば本望ですがたぶんそんなことはないでしょう。

あとCookie使ったセッション管理をしています。Cookie外しても食事画像の表示はできますが、投票はできなくなります。あと、リロードで何度も投票する、という手段も抑止してます。したつもりです。

画面がこじんまりしているのはiPhone/Androidの横置きですっぽり収まるようにしたからです。でもIEで表示すると画面が崩れます。アクセスログ見るとIE使っている人はかなり少数なのでもう放置しちゃおうかな、とも思ってます。

画面のお化粧直しやデータのバックアップ・リストアなどを確認したら正式版に移行します。そのあとはAndroid Appを作る。作りたい。作れるかな…

Posted in ソフトウェア開発, | Tagged , , | Leave a comment

2月14日の自転車

朝はクルマに便乗して仕事場まで。帰りはUCSC Extensionの授業があるのでLawrence駅までCalTrainで移動しそこから自転車通学のはずだったが…→乗り過ごしてSanta Clara駅まで行ってしまった。

14mile
1時間25分
280feet

普通の服でこんなに乗ったのは久しぶりだ。

Posted in 自転車 | Tagged , | Leave a comment

2月13日の自転車


雨の予報はでてものの家を出るときは晴れ間が見えていたので雨具着用なしでCalTrain Mountain View駅にむかったのだが…途中からバケツをひっくり返したような土砂降りに。慌てて雨具を着こむも時すでに遅し。全身ずぶ濡れでCalTrain併用通勤。


美しい虹が見えた後急速に天気は回復。だが気温も一気に低下したので帰りもCaltrain併用。

15mile
1時間15分
250feet

Posted in 自転車 | Tagged , | Leave a comment

2月12日の自転車

学校の宿題が全く終わらない中、気分転換のためにMonte Bello登ってきた。上の方は雲がでていて寒い。

18mile
1時間40分
2900feet

Posted in Uncategorized, 自転車 | Tagged , | Leave a comment

2月9日の自転車


クロスバイク自走。


残業で遅くなったのでCalTrain使おうと思ったら仕事場を出る時間を間違え乗れず。やむなく自走しようとしたら今度はパンク。散々な帰宅であった。結局21:17 Hillsdale発のに乗った。

30mile
2時間10分
620feet

Posted in 自転車 | Tagged , | Leave a comment

不思議な体験

今日の帰り道、不思議な体験をした。

Palo AltoのMiddle Fieldを走っていたら右側から突如クルマが飛び出してきた。一時停止のはずだが無視して加速しながらこちらに向かってくる。自分は必死で左に避けたが間に合わず、ボンネットの上にドスンと落ちてからすっ飛ばされる。自転車はくるくる回りながら空を飛んでいる。

という風景を自分は別の位置からぼ〜っと観察しながら「あ〜またやっちまったなぁ」とか色々なことを考えていた。すっ飛んでいく自転車と自分を3D映像のように見ていたのだ。

で、その観察は「コツン」という振動で中断された。はっと我に返ったのは、自分の自転車後輪がそのクルマのどこかに当たって車体が振られた瞬間だった。転びはしなかったがバランスを失って対向車線に突っ込み、なんとか転倒を免れた。振り返るとさっきのクルマは網スピードで逃げていく。だけど夕方のPalo Altoなら必ず追いつける、と考えそのクルマを追いかけた。

追いついたら運転手は観念したようでひたすら平謝り。ただの爺さんだったけど、当たったのは向こうもわかっていたようですごくびびっていた。一歩間違えてたら轢き逃げだったんだよ、と爺さんに説教してその場を去った。

落ち着いてから色々考えたが、あの瞬間に見ていた【光景】はなんだったのだろう。たぶんペダルひと踏みするかしないかの距離と時間がすごく引き伸ばされた感覚。いわゆる三途の川を渡る前に見るという光景なのかな、と考えている。

 

Posted in Uncategorized | Leave a comment

2月8日の自転車


クロスバイク自走。家からRedwood Cityあたりまでは晴れていたがそこから北は濃霧。

仕事場からみた朝の霧


月明かりの中、自走。途中、不思議な体験をしたがそれは別投稿にて。

46mile
3時間5分
500feet

Posted in 自転車 | Tagged , | Leave a comment

Loki the Hacker

Posted in | Tagged | Leave a comment

2月6日の自転車

朝・夕ともにCalTrain併用クロスバイク通勤。風が生暖かい。明日は雨かな。

14mile
1時間
310feet

Posted in 自転車 | Tagged , | Leave a comment