2010年1月5日火曜日

MacでHadoop(Map Reduce)

スズキです。

そろそろ、Hadoop(Map Reduce)やってみたいなー、と思い、
http://hadoop.apache.org/mapreduce/
でも、今さらって感じもあるので、Mahout中心で試してみようかなー、って思ってます。
http://lucene.apache.org/mahout/

ということで、まずは、Hadoopの実行環境ですが、
Windowsネイティブで動かすのは難しいようなので、
Macをで動かすことにしました。

(1) Hadoopの入手

下記より、hadoop-x.x.x.tar.gzを入手して、
適当なフォルダ(HADOOP_HOME)に展開します。
http://ftp.kddilabs.jp/infosystems/apache/hadoop/core/stable/

(2) 環境変数の設定

HadoopのパスとJAVA_HOMEを設定します。
(下記は.profileに書くとしたら、です)

--------【.profile】--------
HADOOP_HOME=/Users/suzuki/Dropbox/suz-lab/common/sbin/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home
--------

(3) Hadoop(サンプル)の実行

inputフォルダに適当なテキストファイルを置いて、wordcountを実行します。

cd $HADOOP_HOME
mkdir input
cp *.txt input/
hadoop jar hadoop-x.x.x-examples.jar wordcount input output

(4)結果の確認

outputフォルダに結果が出力されてます。

--------
"-" 2
"." 3
".." 1
"..", 1
...
--------

Macの用途を、ブラウザの表示確認以外にもみいださないと…

--------
http://www.suz-lab.com

0 コメント: