読者です 読者をやめる 読者になる 読者になる

snuffkinの遊び場

IT関係、スポーツ、数学等に関することを、気が向いたときに書いてます。

MapReduce2.0関連情報

Hadoopカンファレンスには残念ながら行けませんでしたが、日経コンピュータに記事が載っていました。とても興味深いですね。
Hadoopカンファレンスが開催、本格普及を見据えた支援サービスや先進事例が充実
特に、次世代はMapReduce以外のプログラミングモデルにも対応、とのこと。と言っても、並列プログラミング自体をあまり知らないので、記事に載っている単語をキーワードにして調べてみました。

スケーラブルシステムのデザインパターン
並列プログラミング関連のキーワードが拾えます。
Bulk synchronous parallel
BSPの解説ページ。図や計算量の話も載っています。
MapReduce以外の分散処理基盤BSP, Piccolo, Sparkの紹介
BSPやSparkの解説あり。とても分かりやすいです。絶対オススメ。感謝! MapReduceを知っていることが、それ以外の並列プログラミングを学ぶ足がかりに良さそう。
大規模グラフ処理フレームワーク Pregel のオープンソース実装 Bagel とか
BSP関連の話が載っています。
Hama Wiki
Apache Hamaの情報が載っています。Hamaのアーキテクチャ紹介や、BSPの考え方に沿ったサンプル実装が書いてあります。
Spark
Scalaで書かれたOSSのクラスタ・コンピューティング・システム。HadoopのMapReduceが苦手な処理と比べて「30倍速い」とか強調するのはどうかと思いますが、おなじみWordCountが5行で実現できるのは、さすがスクリプト言語
ストリーム・プロセッシング
ストリーム・プロセッシングの解説
本物のプログラマはHaskellを使う
Haskellを使った並列プログラミングの話が多く掲載されています。並列プログラミングの勉強になりそう。