読者です 読者をやめる 読者になる 読者になる

Hadoop CDH4の YARN (MRv2)でHDFSを導入 (疑似分散環境)

Hadoop CDH4のYARNをCentOS 6.3にインストールでCDH4リポジトリの登録後、以下のコマンドで疑似分散環境をインストールします。

# yum install hadoop-conf-pseudo

(Step-1) NameNodeのフォーマット

# sudo -u hdfs hdfs namenode -format

(Step-2) サービスの起動

# for service in /etc/init.d/hadoop-hdfs-* 
> do
> $service start
> done

(Step-3) /tmpディレクトリの作成

# sudo -u hdfs hadoop fs -rmr /tmp
# sudo -u hdfs hadoop fs -mkdir /tmp
# sudo -u hdfs hadoop fs -chmod -R 1777 /tmp

(Step-4) 各種ディレクトリの作成

ユーザディレクトリの作成

# sudo -u hdfs hadoop fs -mkdir /user/kaoru
# sudo -u hdfs hadoop fs -chown kaoru:kaoru /user/kaoru

YARNログディレクトリの作成

# sudo -u hdfs hadoop fs -mkdir /var/log/hadoop-yarn
# sudo -u hdfs hadoop fs -chown yarn:mapred /var/log/hadoop-yarn

ステージングディレクトリの作成

# sudo -u hdfs hadoop fs -mkdir /tmp/hadoop-yarn/staging
# sudo -u hdfs hadoop fs -chmod -R 1777 /tmp/hadoop-yarn/staging

done_intermediateディレクトリの作成

# sudo -u hdfs hadoop fs -mkdir /tmp/hadoopyarn/staging/history/done_intermediate
# sudo -u hdfs hadoop fs -chmod -R 1777 /tmp/hadoopyarn/staging/history/done_intermediate

ステージングディレクトリの所有権を変更

# sudo -u hdfs hadoop fs -chown -R mapred:mapred /tmp/hadoopyarn/staging

(Step-5) ファイル構成の確認

以下のコマンドでファイル構成を確認します。

$ sudo -u hdfs hadoop fs -ls -R /

(Step-6) YARNの開始

# /etc/init.d/hadoop-yarn-resourcemanager start
# /etc/init.d/hadoop-yarn-nodemanager start
# /etc/init.d/hadoop-mapreduce-historyserver start

参考:CDH4 Quick Start Guide