川口耕介さんを囲む会でHadoopプラグインについて質問してきました

川口耕介さんを囲む会 : ATNDに参加してきました。目当てはHudsonのHadoopプラグインです。Hadoopプラグインの概要については2009-03-15 - 川口耕介の日記を、プラグインそのものについてはHadoop Plugin - hudson - Hudson Wikiを参照してください。

本編について

すみません、Togetter - 「2010/11/11 川口耕介さんを囲む会」を参照してください。

質問内容と回答

Q.スレーブの追加を一括登録することは可能ですか?

出来ません。あったら便利そうですね、作ってほしいです。

Q.Windowsでも完全分散モードで動作しますか?

動作します。ただし、Cygwinは必要です。実際にSunで動かしてました。

Q.PigやHive、HBaseを組み込む予定はありますか?

作ってほしいです。

Q.Hadoopのバージョンは0.19ですがアップデート予定はありますか?

キャッチアップしないといけないですね。ただ、それほど変わっていないと思いますのでご自身で取り組んでみてはどうでしょうか。

Q.NameNodeとなるHudsonのマスターはHA構成可能ですか?

HudsonはHA構成ができません。そもそもHadoopプラグインは手軽にHadoopを利用するテスト用を意図していて、実運用用とは考えていません。

Q.Hadoopのパラメータの調整は可能ですか?

設定ファイルを配布しているだけなので、差し替えれば可能です。

感想など

  • (上では全く書いていませんが)Hudsonが並列分散処理基盤として可能性を秘めていることを知れて興奮しました。ZERO-CONFというのがイケテます。開発環境の構築とかにも使えるのではないかと思いました。JDKEclipseTomcatとか。
    • 並列して負荷テストとかするというのは便利そうだと思いました。
    • Androidの実機を複数台まとめてテストできるというのもすごいと思いました!
  • Hadoopプラグインの拡張という点では既に取り組まれている方もいるみたいですね。Cloud computing competition by Hapyrus

終わりに

全体から見るとあまり関係ないHadoopプラグインに関して質問しまくったにも関わらず、川口さんには丁寧に回答して頂きました。ありがとうございました!あと、誘ってくれた @miyatay さんもありがとうございました!とても面白かったです!!