MapReduce2.0関連情報
Hadoopカンファレンスには残念ながら行けませんでしたが、日経コンピュータに記事が載っていました。とても興味深いですね。
Hadoopカンファレンスが開催、本格普及を見据えた支援サービスや先進事例が充実
特に、次世代はMapReduce以外のプログラミングモデルにも対応、とのこと。と言っても、並列プログラミング自体をあまり知らないので、記事に載っている単語をキーワードにして調べてみました。
- スケーラブルシステムのデザインパターン
- 並列プログラミング関連のキーワードが拾えます。
- Bulk synchronous parallel
- BSPの解説ページ。図や計算量の話も載っています。
- MapReduce以外の分散処理基盤BSP, Piccolo, Sparkの紹介
- BSPやSparkの解説あり。とても分かりやすいです。絶対オススメ。感謝！ MapReduceを知っていることが、それ以外の並列プログラミングを学ぶ足がかりに良さそう。
- 大規模グラフ処理フレームワーク Pregel のオープンソース実装 Bagel とか
- BSP関連の話が載っています。
- Hama Wiki
- Apache Hamaの情報が載っています。Hamaのアーキテクチャ紹介や、BSPの考え方に沿ったサンプル実装が書いてあります。
- Spark
- Scalaで書かれたOSSのクラスタ・コンピューティング・システム。HadoopのMapReduceが苦手な処理と比べて「30倍速い」とか強調するのはどうかと思いますが、おなじみWordCountが5行で実現できるのは、さすがスクリプト言語。
- ストリーム・プロセッシング
- ストリーム・プロセッシングの解説
- 本物のプログラマはHaskellを使う
- Haskellを使った並列プログラミングの話が多く掲載されています。並列プログラミングの勉強になりそう。
