snuffkinの遊び場

IT関係、スポーツ、数学等に関することを、気が向いたときに書いてます。

Hadoop

YARNの新機能 Capacity Scheduler

Hadoopアドベントカレンダー2011 on Zusaarの12/18を担当する@snuffkinです。さて、先日、Hadoop 0.23がリリースされました。 今回のリリースでは、HDFSフェデレーションや次世代MapReduce(YARN)といった新機能が導入され、アーキテクチャに大きな改良が加え…

YARNのコマンドrmadminのhelpについて

ちょっとしたTIPSです。「bin/hadoop」のときと同様に、YARNになってもhelpを表示する機能があります。例えば、 bin/yarn rmadmin を実行すると、 Usage: java RMAdmin [-refreshQueues] [-refreshNodes] [-refreshUserToGroupsMappings] [-refreshSuperUser…

Hadoopアドベントカレンダー

hadoopアドベントカレンダー2011に立候補。何を書こうかな。。。

第7回Hadoopソースコードリーディングに参加してきました。

11/28に豊洲のNTTデータさんのところで行われた、第7回Hadoopソースコードリーディングに参加してきました。その感想等をまとめておきます。 全体的な雰囲気 今回の内容はソースコードリーディングはなく、Hadoopカンファレンス・フィードバック会。第7回の…

データマイニング天文学(造語です)

富士通の資料を読んでいたら、天文学の仮想化、という考え方もあって、「仮想天文台のシステム構築」を読むと面白い。世界中の天文データを保持したコンピュータをネットワークでつないでおく。天文データ検索用のクエリ言語を利用することで、保持している…

アルマ望遠鏡が観測開始

世界最高の性能を持つ電波望遠鏡ALMAが、いよいよ観測を開始したそうです。と言っても、まだMAX性能での観測は開始しておらず、全66台のアンテナのうち、完成した16台で運用を開始したそうです。 世界最高の電波望遠鏡、観測開始 銀河誕生の謎に迫るALMA自体…

MapReduce2.0関連情報

Hadoopカンファレンスには残念ながら行けませんでしたが、日経コンピュータに記事が載っていました。とても興味深いですね。 Hadoopカンファレンスが開催、本格普及を見据えた支援サービスや先進事例が充実 特に、次世代はMapReduce以外のプログラミングモデ…

Hadoopのeclipseプラグインが自動生成するソースがコンパイル通りません

ここに「Unfortunately」と書いてありますが、Hadoopのeclipseプラグインが自動生成してくれるDriverのソースがコンパイル通りません。Hadoopの古いAPIを使ったソースを生成してしまうからです。この点はいまいちですね。

Hadoop情報リンク集

Agile_Catさんのページで、2009-2010年のHadoop関係の記事のリンク集(総集編)を作ってくれています。動向を学ぶには便利そう。ありがとう! Hadoop 2009-2010 総集編 Agile_Cat 版