Archive for the Hadoop category

8月 11th, 2014

HBaseぜ filter遅?

Posted in Hadoop by admin

HBaseぜ filterが遅いバグがある(HBASE-9428)
https://issues.apache.org/jira/browse/HBASE-9428

CDHでも、4.3.0, 4,4,0, 4.5.0が該? する。
パッチはこちら。

# wget https://issues.apache.org/jira/secure/attachment/12601412/9428-0.94.txt
# cat https://issues.apache.org/jira/secure/attachment/12601412/9428-0.94.txt
Index: src/main/java/org/apache/hadoop/hbase/filter/RegexStringComparator.java
===================================================================
--- src/main/java/org/apache/hadoop/hbase/filter/RegexStringComparator.java	(revision 1519839)
+++ src/main/java/org/apache/hadoop/hbase/filter/RegexStringComparator.java	(working copy)
@@ -30,6 +30,7 @@
 import java.io.IOException;
 import java.nio.charset.Charset;
 import java.nio.charset.IllegalCharsetNameException;
+import java.util.Arrays;
 import java.util.regex.Pattern;

 /**
@@ -91,9 +92,12 @@

   @Override
   public int compareTo(byte[] value, int offset, int length) {
+    // See HBASE-9428. Make a copy of the relevant part of the byte[],
+    // or the JDK will copy the entire byte[] during String decode
+    byte[] tmp = Arrays.copyOfRange(value, offset, offset+length);
     // Use find() for subsequence match instead of matches() (full sequence
     // match) to adhere to the principle of least surprise.
-    return pattern.matcher(new String(value, offset, length, charset)).find() ? 0
+    return pattern.matcher(new String(tmp, charset)).find() ? 0
         : 1;
   }
2月 11th, 2014

HadoopStreamingバイナリ対応ぜ ImageMagickを使う

Posted in Hadoop by admin

Hadoopストリーミングは、通常テキストデータのストリームにのみ対応しており、
バイナリデータをそのまま入力にすると改? コードなどでデータが壊れてしまう。

以? ぜ JIRAのパッチを利用して、Hadoopストリーミングをバイナリストリームぜ
対? し、ImageMagickのコマンドを実行するMap処理を行える。
このパッチぜ Hadoopコアへの改修は? 要とせず、追加jarファイルのみだけぜ
動作するため、運用中システムへの影響度もあまりない。

https://issues.apache.org/jira/browse/MAPREDUCE-5018

※動作を確? した環? は、CDH4.4、JDK1.6.0_31

予め、利用するCDHバージョンの環? でパッチに含まれる以? のソースから
justbytes.jarを生成しておきます。

org/apache/hadoop/io/JustBytesWritable.java
org/apache/hadoop/mapred/JustBytesInputFormat.java
org/apache/hadoop/mapred/JustBytesOutputFormat.java
org/apache/hadoop/streaming/io/IdentifierResolver.java
org/apache/hadoop/streaming/io/JustBytesInputWriter.java
org/apache/hadoop/streaming/io/JustBytesOutputReader.java

後は、生成justbytes.jarをクライアントボ ードに配置して、Hadoop
ストリーミングを実行するだけです。ただし、ImageMagickを利用する
場合は、全スレーブボ ードぜ ImageMagickをインストールしておきます。
付属ぜ mapstreamスクリプトを利用してもいいですが、内部では以下のようぜ
hadoopコマンドを実行しています。

$ ls
justbytes.jar  mapstream

バイナリデータのバイト数確認

$ hadoop jar /usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-streaming-2.0.0-mr1-cdh4.4.0.jar \
    -D stream.io.identifier.resolver.class=org.apache.hadoop.streaming.io.JustBytesIdentifierResolver \
    -libjars justbytes.jar \
    -io justbytes \
    -inputformat org.apache.hadoop.mapred.JustBytesInputFormat \
    -outputformat org.apache.hadoop.mapred.JustBytesOutputFormat \
    -input "/user/hdfs/input" \
    -output "/user/hdfs/output" \
    -mapper "wc -c" \
    -numReduceTasks 0

ImageMagickぜ convertコマンドぜ jpeg画? を50%にリサイ゜

$ hadoop jar /usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-streaming-2.0.0-mr1-cdh4.4.0.jar \
    -D stream.io.identifier.resolver.class=org.apache.hadoop.streaming.io.JustBytesIdentifierResolver \
    -libjars justbytes.jar \
    -io justbytes \
    -inputformat org.apache.hadoop.mapred.JustBytesInputFormat \
    -outputformat org.apache.hadoop.mapred.JustBytesOutputFormat \
    -input "/user/hdfs/input_jpg" \
    -output "/user/hdfs/output_jpg" \
    -mapper "convert -resize 50% - -" \
    -numReduceTasks 0

$ hdfs dfs -ls /user/hdfs/output_jpg
Found 6 items
-rw-r--r--   3 hdfs hadoop          0 2014-02-05 17:31 /user/hdfs/output_jpg/_SUCCESS
drwxr-xr-x   - hdfs hadoop          0 2014-02-05 17:31 /user/hdfs/output_jpg/_logs
-rw-r--r--   3 hdfs hadoop     249193 2014-02-05 17:31 /user/hdfs/output_jpg/part-00000
-rw-r--r--   3 hdfs hadoop     195777 2014-02-05 17:31 /user/hdfs/output_jpg/part-00001
-rw-r--r--   3 hdfs hadoop     182178 2014-02-05 17:31 /user/hdfs/output_jpg/part-00002
-rw-r--r--   3 hdfs hadoop     473279 2014-02-05 17:31 /user/hdfs/output_jpg/part-00003

$ identify /hdfs/user/hdfs/input_jpg/test1.jpeg
/hdfs/user/hdfs/input_jpg/test1.jpeg JPEG 4256x2832 4256x2832+0+0 DirectClass 4.8mb

$ identify /hdfs/user/hdfs/output_jpg/part-00000
/user/hdfs/output_jpg/part-00000 JPEG 2128x1416 2128x1416+0+0 DirectClass 1.5mb

part-nnnnnnがそれぞれconvert後の画? ファイルになっている。
fuseマウント経由ぜ identifyを行い、リサイズ? ぜ jpegが生成されていることを確? 。

12月 13th, 2012

ReduceTask OutOfMemoryError

Posted in Hadoop by admin

Hadoop Troubleshooting 101の日本? 版スライドはこちらにあります。
http://www.slideshare.net/cloudera/hadoop-troubleshooting-101-japanese-version

ここにないケースで、shuffleフェーズで発生するOutOfMemoryErrorがありました。
使用バージョンぜ hadoop-0.20.2 なので、MAPREDUCE-1182のバグではないようです。

Error: java.lang.OutOfMemoryError: Java heap space
        at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$MapOutputCopier.shuffleInMemory(ReduceTask.java:1612)
        at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$MapOutputCopier.getMapOutput(ReduceTask.java:1472)
        at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$MapOutputCopier.copyOutput(ReduceTask.java:1321)
        at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$MapOutputCopier.run(ReduceTask.java:1253)

大容釜 ファイルぜ terasortを実行すれば簡単に再現します。
以? のようぜ Hadoopパラメータで対処できる事も゜ かりました。

ボ reducer最大スロット(mapred.tasktracker.reduce.tasks.maximum)の数値を下げて、TaskTracker子プロセスのヒープサイ゜ (mapred.child.java.opts)の割り当てを挙げる。試してませんが、shuffle中ぜ map出力を格? するために割り当てることができるメモリの割合(mapred.job.shuffle.input.buffer.percent)を上げるという対? も考えられます。

ボ reducerがデータ転送する為にパラレルに接続出来るTaskTrackerの? (mapred.reduce.parallel.copies)を必要以? に? ぜ しない 。デフォルトぜ 5だが、推奨値ぜ sqrt(ボ ード? )で、最作 値ぜ 10。

問題の発生するジョブにだけ適用させたいのぜ JobConfや実行時の? ? (-D)で指定するのでしょうか。
他に良い方? があればいいのですが。。

関連する情?
http://hadoop-common.472056.n3.nabble.com/Shuffle-In-Memory-OutOfMemoryError-td433197.html

9月 26th, 2012

CDH+Azkabanぜ version mismatch

Posted in Hadoop, Tomcat by admin

CDH3ぜ Hadoopクラスタを構築し、クライアントとしぜ Azkaban-0.10を利用する場合、
クライアントからNameNodeへの接続が圏 れずに以下のようぜ Exceptionが発生する。
(Azkabanぜ HDFSディレクトリ圏 照? 能にアクセスすることで確認出来る)

javax.servlet.ServletException: java.io.IOException:
Call to namenode/10.10.10.1:8020 failed on local exception: java.io.EOFException
    azkaban.web.pages.HdfsBrowserServlet.init(HdfsBrowserServlet.java:76)
    org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:102)
?

java.io.IOException: Call to namenode/10.10.10.1:8020 failed on local exception: java.io.EOFException
    org.apache.hadoop.ipc.Client.wrapException(Client.java:775)
    org.apache.hadoop.ipc.Client.call(Client.java:743)
    org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)
?

java.io.EOFException
    java.io.DataInputStream.readInt(DataInputStream.java:375)
    org.apache.hadoop.ipc.Client$Connection.receiveResponse(Client.java:501)
?

NameNode側には、以? のようなクラスタとクライアントのバージョンミスマッチが
発生しているログが出力される。

WARN org.apache.hadoop.ipc.Server: Incorrect
 header or version mismatch from 10.10.10.10:40424 got version 3 expected
 version 4

表面? ぜ Hadoopバージョンは、CDHぜ Azkabanの使用しているコミュニティ版ぜ
同一ぜ 0.20.2だが、Clouderaのバックポートで更新され互朏 性がなぜ なっている。

対? 方? は、azkabanぜ WEB-INF/lib配下の「hadoop-0.20.2-core.jar」を削除し、
CDH(/usr/lib/hadoop配下)の「hadoop-core-0.20.2-cdh3u4.jar」ぜ
「guava-r09-jarjar.jar」をWEB-INF/lib配下に置ぜ 。

上記ぜ warファイルをTomcat上に配置するパターンを想? しているが、
その場合、「servlet-api-2.5.jar」「catalina-ant.jar」あたりも
不要になるのでついでに削除する。削除すれば、以? ぜ INFOログを出力
しなぜ なる。

INFO: validateJarFile jar not loaded.
See Servlet Spec 2.3, section 9.7.2.
Offending class: javax/servlet/Servlet.class
9月 4th, 2012

Hadoop(CDH3u4)管理画面をリバースプロキシ? 由で圏 ?

Posted in Hadoop by admin

手段として、いぜ つかのサイトで公開されているようぜ
mod_rewrite、mod_proxy_htmlを利用します。

圏 考:
http://d.hatena.ne.jp/matobat/20100916/1284626356

CDHの管理画面は、コミュニティ版と地 し異なる為、
いぜ つか変更を加えながら確? してみました。
準備作業は以下のようになります。

# yum install httpd-devel libxml2 libxml2-devel
# wget http://apache.webthing.com/mod_proxy_html/mod_proxy_html.tar.bz2
# bzip2 -d mod_proxy_html.tar.bz2 | tar xvf
# cd mod_proxy_html
# apxs -c -I/usr/include/libxml2 -I./ -i mod_proxy_html.c
# wget http://apache.webthing.com/svn/apache/filters/mod_xml2enc.c
# wget http://apache.webthing.com/svn/apache/filters/mod_xml2enc.h
# apxs -c -I/usr/include/libxml2 -I./ -i mod_xml2enc.c

httpd.confには、以? の設定を追加しました。
もっと効? 的な方? があるかもしれません。

# mod_rewrite
RewriteEngine On
RewriteRule ^/namenode/(.*)$ http://(MasterNode_VIP):50070/$1 [P,L,QSA]
RewriteRule ^/jobtracker/(.*)$ http://(MasterNode_VIP):50030/$1 [P,L,QSA]
RewriteRule ^/datanode/([^/]*)/(.*)$ http://$1:50075/$2 [P,L,QSA]
RewriteRule ^/tasktracker/([^/]*)/(.*)$ http://$1:50060/$2 [P,L,QSA]

Header edit Location ^http://(MasterNode_VIP):50070/(.*)$ /namenode/$1
Header edit Location ^http://(MasterNode_VIP):50030/(.*)$ /jobtracker/$1
Header edit Location ^http://([^:]*):50075/(.*)$ /datanode/$1/$2
Header edit Location ^http://([^:]*):50060/(.*)$ /tasktracker/$1/$2

# mod_proxy_html
LoadFile      /usr/lib64/libxml2.so
LoadModule    proxy_html_module       modules/mod_proxy_html.so
LoadModule    xml2enc_module          modules/mod_xml2enc.so

ProxyHTMLEnable On
#ProxyHTMLLogVerbose On
ProxyHTMLURLMap ^http://(.*):50070/(.*)$ /namenode/$2 [R,x,l,e,c]
ProxyHTMLURLMap ^http://(.*):50030/(.*)$ /jobtracker/$2 [R,x,l,e,c]
ProxyHTMLURLMap ^http://(.*):50075/(.*)$ /datanode/$1/$2 [R,x,l,e,c]
ProxyHTMLURLMap ^http://(.*):50060/(.*)$ /tasktracker/$1/$2 [R,x,l,e,c]
ProxyHTMLURLMap ^http://(.*):50060$ /tasktracker/$1/ [R,x,l,e,c]
ProxyHTMLURLMap ^/static/(.*) /namenode/static/$1 [R,x,l,e,c]
ProxyHTMLURLMap ^/nn_browsedfscontent.jsp /namenode/nn_browsedfscontent.jsp [R,x,l,e,c]
ProxyHTMLURLMap ^/logs/$ logs/ [R,x,l,e,c]
ProxyHTMLURLMap ^/logs/(.*)$ $1 [R,x,l,e,c]
ProxyHTMLURLMap ^/dfshealth.jsp /namenode/dfshealth.jsp [R,x,l,e,c]
ProxyHTMLURLMap ^/jobdetails.jsp(.*)$ /jobtracker/jobdetails.jsp$1 [R,x,l,e,c]
ProxyHTMLURLMap ^/taskgraph(.*)$  /jobtracker/taskgraph$1 [R,x,l,e,c]
ProxyHTMLURLMap ^/taskstats.jsp(.*)$ /jobtracker/taskstats.jsp$1 [R,x,l,e,c]
ProxyHTMLURLMap ^/taskstatshistory.jsp(.*)$ /jobtracker/taskstatshistory.jsp$1 [R,x,l,e,c]

また、MapReduce、Shuffleのグラフ表示ぜ embedタグのリンク部分を
書き朏 える為、proxy_html.confへの追記も行っています。

ProxyHTMLLinks  embed           src

画面アクセス時は、/namenode/、/jobtracker/のようにアクセスします。
また、スレーブボ ードぜ IPアドレスは、リバースプロキシで名前解決できるようぜ
hostsに登録しています。