初めてのSpark作者: Holden Karau,Andy Konwinski,Patrick Wendell,Matei Zaharia,Sky株式会社玉川竜司出版社/メーカー: オライリージャパン発売日: 2015/08/22メディア: 大型本この商品を含むブログ (3件) を見る そろそろSparkを使いたくなってきたのでこ…

よくわかる心理統計 (やわらかアカデミズム・わかるシリーズ)作者: 山田剛史,村井潤一郎出版社/メーカー: ミネルヴァ書房発売日: 2004/09メディア: 単行本購入: 12人 クリック: 108回この商品を含むブログ (28件) を見る Rによるやさしい統計学の中でよく取…

暗号化したデータでそのまま計算するHomomorphic encryptionなんていう世界があるんですねー(ﾟдﾟ)！ Machine Learning Classification over Encrypted Data(PDF) http://t.co/y5fyRKwCnt— Satoshi Noto (@n3104) 2015, 3月 7 上記のツイートをした通りで、Ho…

Rによるやさしい統計学作者: 山田剛史,杉澤武俊,村井潤一郎出版社/メーカー: オーム社発売日: 2008/01/25メディア: 単行本購入: 64人 クリック: 782回この商品を含むブログ (69件) を見る 2012年の4月にはAmazonで買っていたみたいなんですが、社内で読書会…

もう年が明けてますが、2014年について振り返っておきます。 スマフォ向けWebアプリを作った アジャイルデータサイエンスの付録を書いた fullbokをがっつり使ってみた EMRを触った ちなみに、去年は年末年始に仕事があってタイミングを逃して振り返りを書け…

ちょっと前の話なんですが、職場でZabbixの監視にプロセス名とコマンドラインが使えて、psコマンドでコマンドラインはとれるけどプロセス名はどうするんだとなりました。結局、同僚から/proc/${pid}/statusに入ってるNameでいいと聞いたのですが、もっと簡単…

実践 機械学習 〜レコメンデーションにおけるイノベーション〜を読みました。60ページぐらいで1時間もかからず読むことが出来ます。内容は機械学習のアルゴリズムの紹介ではなく、機械学習によるレコメンデーションの全体像を掴むことが出来るような内容でし…

いまさらなんですが、はてなブログに引っ越しました。 http://n3104.hatenablog.com/何回か書いてみてからどうするか決めれば良いと思っていたので、実際には3月末からはてなブログ側で書いています（といっても、この日記を書く時点で3エントリーしかありま…

結論から書くと、Parameter Groupsでevent_schedulerを[ON]にするだけです。 http://stackoverflow.com/questions/14940910/creating-mysql-events-in-amazon-rds event_schedulerのデフォルトは[engine-default]になっていました。この状態だと[OFF]扱いの…

データサイエンティスト養成読本 [ビッグデータ時代のビジネスを支えるデータ分析力が身につく! ] (Software Design plus)作者: 佐藤洋行,原田博植,下田倫大,大成弘子,奥野晃裕,中川帝人,橋本武彦,里洋平,和田計也,早川敦士,倉橋一成出版社/メーカー: 技術評…

同僚と Fork/Join Framework について話す機会があり、ちょっと気になったので調べてみました。ちなみに、ソースは jdk1.7.0_25 です。 native なのか Java なのか？ native とかは使わないで普通に Java の Thred クラスを利用して実装しているようでした。…

社内的に GitHub に移行することになったので、 GitHub のリポジトリに pull request が merge されたタイミングで Jenkins のプロジェクトが実行されるように設定しました。設定手順は GitHub Plugin - Jenkins - Jenkins Wiki と Trigger Jenkins builds b…

ちょっと遅くなりましたが、2012 年について振り返っておきます。 3 月に転職した。 仕事で MapReduce ジョブを書いた。 子象本読書会を行った。 MySQL に慣れた。 Git に慣れた。 Mac に慣れた。 2012年の目標と比べるとあまり関係ない感じですね。。 3 月…

この記事は 子育てエンジニア advent calendar 2012 の 12 日目のエントリーです。うちは私と嫁さんと長男 5 歳、次男 3 歳の 4 人ぐらしです。長男は早生まれなので来年には小学生になり、割りと自分の時間も取れるようになって来ました。他の方よりは多少…

@n0ts に誘って頂いて @yanaoki と 3 人で isucon2 に参加しました。結果は惨敗でしたが、とても楽しかったです。唯一 Java で取り組んで、結局採点基準にすら届かなかったので参考にならないかもしれませんが、個人反省会ということでメモしておきます。 事…

前提 CDH2u3 NotReplicatedYetException が発生してコピーに失敗する場合。具体的には以下みたいなログが出力される場合。 12/10/08 11:17:47 INFO hdfs.DFSClient: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.NotRepl…

Developing CDH Applications with Maven and Eclipse | Apache Hadoop for the Enterprise | Cloudera を見たら hadoop-core ではなく hadoop-client なるものを使っていました。そこでちょっと調べてみたところ、Hadoop 1.0.1 からリリースされたものでし…

いまさらですが、今年の目標を書いておこうかと思います。 データ分析について勉強する 現時点で統計学の入門書を色々読んでいる所です。とりあえず、以下の5冊はざっくり読み終わりました。 マンガでわかる統計学 統計学がわかる (ファーストブック) マンガ…

chrome extension で国際化対応をする際は Internationalization (i18n) - Google Chrome Extensions を利用すると思います。ただし、 chrome の i18n は chrome(ブラウザ) の locale を参照するため、 chrome extension 単位で言語を切り替えることが出来ま…

Hadoop MapReduce デザインパターン ―MapReduceによる大規模テキストデータ処理作者: Jimmy Lin,Chris Dyer,神林飛志,野村直之,玉川竜司出版社/メーカー: オライリージャパン発売日: 2011/10/01メディア: 大型本購入: 4人 クリック: 254回この商品を含むブロ…

8月頭、9月頭がちょうど忙しく、気がつけば前回の振り返りから3ヶ月経ってましたorz 特に8月後半から9月前半はプロジェクトの立ちあげ、DevQuiz、Hiveの勉強会の準備が重なり、マジで精神と時の部屋に入りたい気持ちになりました。 Keep Hadoopウォッチ Hado…

ここ1ヶ月半ほどは1週間単位のイテレーションでお客様のところにアプリケーションを持って行き、フィードバックをもらい、翌週機能追加するということを繰り返してました。たぶん、世に言うアジャイルっぽい開発をしていたのだと思います。お客様と一緒に開…

Hadoop MapReduce デザインパターン ―MapReduceによる大規模テキストデータ処理作者: Jimmy Lin,Chris Dyer,神林飛志,野村直之,玉川竜司出版社/メーカー: オライリージャパン発売日: 2011/10/01メディア: 大型本購入: 4人 クリック: 254回この商品を含むブロ…

最近Google Apps ScriptでSitesにMLの一覧を表示するというのをやってまして、その中で2-legged OAuthが出てきたのでちゃんと調べようと思っていました。そして連休中にUsing 2-legged OAuth with the Google Tasks API for Google Apps domain administrato…

主に家庭的な理由で、色々と疲れがたまっていたのですが、 @quindim の送別会に行くことで、とても元気をもらいました。特にLTを書いていて、かなり復活しました。ほんとありがとう、きんちゃん。これまた家庭的な理由で、圧倒的に時間がなかったりするので…

6月はいつもよりつぶやいていた気がします。2011-06のつぶやき - n-3104のつぶやき Keep Hadoopウォッチ バックログの消化。やっと定期購読している雑誌については解消しそう。 筋トレ。 毎月振り返る。 Problem 休もうと意識していた割に休んでいない気がす…

毎月振り返るつもりが、気がづけば5ヶ月経過してました( ﾟдﾟ) ということでいまさらですがKPTします。 Keep Hadoopウォッチ Problem 色々手を出しすぎて、家族に割くエネルギーが減っていた。 自分自身も疲れがたまっていた。 雑誌を溜めすぎてて、毎朝の多…

DevLOVEにDesignBookReadingというYammerがあって、そこで企画されたUX語ろうずの会というものに参加してきました。そこで思ったことなどを簡単にメモしておきます。 メモ UXって何？ UXという言葉の定義が人によって違う。 定義はもともとなかったけれど、…

前々から「対価は提供したサービスに比例する」という考え方を意識していたのですが、エンジニアにとってはアウトプットすることがサービスを増やすことにつながるのだろうなと思いました。仕事としてあるプロジェクトにアーキテクトとして関わっていても、…

http://atnd.org/events/11855初のペアプロ体験でした！ちょっと経ったのでうろ覚えの部分のもありますが、考えたことなどをメモしておきます。 関係性が構築されていなかったり、お互いのことを知らない状態で、白紙の状態からペアプロするのはツライ気がし…