Archive for the Hadoop category

12月 13th, 2012

ReduceTask OutOfMemoryError

Posted in Hadoop by admin

Hadoop Troubleshooting 101の日本? 版スライドはこちらにあります。
http://www.slideshare.net/cloudera/hadoop-troubleshooting-101-japanese-version

ここにないケースで、shuffleフェーズで発生するOutOfMemoryErrorがありました。
使用バージョンぜ hadoop-0.20.2 なので、MAPREDUCE-1182のバグではないようです。

Error: java.lang.OutOfMemoryError: Java heap space
        at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$MapOutputCopier.shuffleInMemory(ReduceTask.java:1612)
        at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$MapOutputCopier.getMapOutput(ReduceTask.java:1472)
        at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$MapOutputCopier.copyOutput(ReduceTask.java:1321)
        at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$MapOutputCopier.run(ReduceTask.java:1253)

大容釜 ファイルぜ terasortを実行すれば簡単に再現します。
以? のようぜ Hadoopパラメータで対処できる事も゜ かりました。

ボ reducer最大スロット(mapred.tasktracker.reduce.tasks.maximum)の数値を下げて、TaskTracker子プロセスのヒープサイ゜ (mapred.child.java.opts)の割り当てを挙げる。試してませんが、shuffle中ぜ map出力を格? するために割り当てることができるメモリの割合(mapred.job.shuffle.input.buffer.percent)を上げるという対? も考えられます。

ボ reducerがデータ転送する為にパラレルに接続出来るTaskTrackerの? (mapred.reduce.parallel.copies)を必要以? に? ぜ しない 。デフォルトぜ 5だが、推奨値ぜ sqrt(ボ ード? )で、最作 値ぜ 10。

問題の発生するジョブにだけ適用させたいのぜ JobConfや実行時の? ? (-D)で指定するのでしょうか。
他に良い方? があればいいのですが。。

関連する情?
http://hadoop-common.472056.n3.nabble.com/Shuffle-In-Memory-OutOfMemoryError-td433197.html

9月 26th, 2012

CDH+Azkabanぜ version mismatch

Posted in Hadoop, Tomcat by admin

CDH3ぜ Hadoopクラスタを構築し、クライアントとしぜ Azkaban-0.10を利用する場合、
クライアントからNameNodeへの接続が圏 れずに以下のようぜ Exceptionが発生する。
(Azkabanぜ HDFSディレクトリ圏 照? 能にアクセスすることで確認出来る)

javax.servlet.ServletException: java.io.IOException:
Call to namenode/10.10.10.1:8020 failed on local exception: java.io.EOFException
    azkaban.web.pages.HdfsBrowserServlet.init(HdfsBrowserServlet.java:76)
    org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:102)
~

java.io.IOException: Call to namenode/10.10.10.1:8020 failed on local exception: java.io.EOFException
    org.apache.hadoop.ipc.Client.wrapException(Client.java:775)
    org.apache.hadoop.ipc.Client.call(Client.java:743)
    org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)
~

java.io.EOFException
    java.io.DataInputStream.readInt(DataInputStream.java:375)
    org.apache.hadoop.ipc.Client$Connection.receiveResponse(Client.java:501)
~

NameNode側には、以? のようなクラスタとクライアントのバージョンミスマッチが
発生しているログが出力される。

WARN org.apache.hadoop.ipc.Server: Incorrect
 header or version mismatch from 10.10.10.10:40424 got version 3 expected
 version 4

表面? ぜ Hadoopバージョンは、CDHぜ Azkabanの使用しているコミュニティ版ぜ
同一ぜ 0.20.2だが、Clouderaのバックポートで更新され互朏 性がなぜ なっている。

対? 方? は、azkabanぜ WEB-INF/lib配下の「hadoop-0.20.2-core.jar」を削除し、
CDH(/usr/lib/hadoop配下)の「hadoop-core-0.20.2-cdh3u4.jar」ぜ
「guava-r09-jarjar.jar」をWEB-INF/lib配下に置ぜ 。

上記ぜ warファイルをTomcat上に配置するパターンを想? しているが、
その場合、「servlet-api-2.5.jar」「catalina-ant.jar」あたりも
不要になるのでついでに削除する。削除すれば、以? ぜ INFOログを出力
しなぜ なる。

INFO: validateJarFile jar not loaded.
See Servlet Spec 2.3, section 9.7.2.
Offending class: javax/servlet/Servlet.class
9月 4th, 2012

Hadoop(CDH3u4)管理画面をリバースプロキシ? 由で圏 煜

Posted in Hadoop by admin

手段として、いぜ つかのサイトで公開されているようぜ
mod_rewrite、mod_proxy_htmlを利用します。

圏 考:
http://d.hatena.ne.jp/matobat/20100916/1284626356

CDHの管理画面は、コミュニティ版と地 し異なる為、
いぜ つか変更を加えながら確? してみました。
準備作業は以下のようになります。

# yum install httpd-devel libxml2 libxml2-devel
# wget http://apache.webthing.com/mod_proxy_html/mod_proxy_html.tar.bz2
# bzip2 -d mod_proxy_html.tar.bz2 | tar xvf
# cd mod_proxy_html
# apxs -c -I/usr/include/libxml2 -I./ -i mod_proxy_html.c
# wget http://apache.webthing.com/svn/apache/filters/mod_xml2enc.c
# wget http://apache.webthing.com/svn/apache/filters/mod_xml2enc.h
# apxs -c -I/usr/include/libxml2 -I./ -i mod_xml2enc.c

httpd.confには、以? の設定を追加しました。
もっと効? 的な方? があるかもしれません。

# mod_rewrite
RewriteEngine On
RewriteRule ^/namenode/(.*)$ http://(MasterNode_VIP):50070/$1 [P,L,QSA]
RewriteRule ^/jobtracker/(.*)$ http://(MasterNode_VIP):50030/$1 [P,L,QSA]
RewriteRule ^/datanode/([^/]*)/(.*)$ http://$1:50075/$2 [P,L,QSA]
RewriteRule ^/tasktracker/([^/]*)/(.*)$ http://$1:50060/$2 [P,L,QSA]

Header edit Location ^http://(MasterNode_VIP):50070/(.*)$ /namenode/$1
Header edit Location ^http://(MasterNode_VIP):50030/(.*)$ /jobtracker/$1
Header edit Location ^http://([^:]*):50075/(.*)$ /datanode/$1/$2
Header edit Location ^http://([^:]*):50060/(.*)$ /tasktracker/$1/$2

# mod_proxy_html
LoadFile      /usr/lib64/libxml2.so
LoadModule    proxy_html_module       modules/mod_proxy_html.so
LoadModule    xml2enc_module          modules/mod_xml2enc.so

ProxyHTMLEnable On
#ProxyHTMLLogVerbose On
ProxyHTMLURLMap ^http://(.*):50070/(.*)$ /namenode/$2 [R,x,l,e,c]
ProxyHTMLURLMap ^http://(.*):50030/(.*)$ /jobtracker/$2 [R,x,l,e,c]
ProxyHTMLURLMap ^http://(.*):50075/(.*)$ /datanode/$1/$2 [R,x,l,e,c]
ProxyHTMLURLMap ^http://(.*):50060/(.*)$ /tasktracker/$1/$2 [R,x,l,e,c]
ProxyHTMLURLMap ^http://(.*):50060$ /tasktracker/$1/ [R,x,l,e,c]
ProxyHTMLURLMap ^/static/(.*) /namenode/static/$1 [R,x,l,e,c]
ProxyHTMLURLMap ^/nn_browsedfscontent.jsp /namenode/nn_browsedfscontent.jsp [R,x,l,e,c]
ProxyHTMLURLMap ^/logs/$ logs/ [R,x,l,e,c]
ProxyHTMLURLMap ^/logs/(.*)$ $1 [R,x,l,e,c]
ProxyHTMLURLMap ^/dfshealth.jsp /namenode/dfshealth.jsp [R,x,l,e,c]
ProxyHTMLURLMap ^/jobdetails.jsp(.*)$ /jobtracker/jobdetails.jsp$1 [R,x,l,e,c]
ProxyHTMLURLMap ^/taskgraph(.*)$  /jobtracker/taskgraph$1 [R,x,l,e,c]
ProxyHTMLURLMap ^/taskstats.jsp(.*)$ /jobtracker/taskstats.jsp$1 [R,x,l,e,c]
ProxyHTMLURLMap ^/taskstatshistory.jsp(.*)$ /jobtracker/taskstatshistory.jsp$1 [R,x,l,e,c]

また、MapReduce、Shuffleのグラフ表示ぜ embedタグのリンク部分を
書き朏 える為、proxy_html.confへの追記も行っています。

ProxyHTMLLinks  embed           src

画面アクセス時は、/namenode/、/jobtracker/のようにアクセスします。
また、スレーブボ ードぜ IPアドレスは、リバースプロキシで名前解決できるようぜ
hostsに登録しています。