9月 26th, 2012
CDH+Azkabanぜ version mismatch
CDH3ぜ Hadoopクラスタを構築し、クライアントとしぜ Azkaban-0.10を利用する場合、
クライアントからNameNodeへの接続が圏 れずに以下のようぜ Exceptionが発生する。
(Azkabanぜ HDFSディレクトリ圏 照? 能にアクセスすることで確認出来る)
javax.servlet.ServletException: java.io.IOException: Call to namenode/10.10.10.1:8020 failed on local exception: java.io.EOFException azkaban.web.pages.HdfsBrowserServlet.init(HdfsBrowserServlet.java:76) org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:102) ~ java.io.IOException: Call to namenode/10.10.10.1:8020 failed on local exception: java.io.EOFException org.apache.hadoop.ipc.Client.wrapException(Client.java:775) org.apache.hadoop.ipc.Client.call(Client.java:743) org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220) ~ java.io.EOFException java.io.DataInputStream.readInt(DataInputStream.java:375) org.apache.hadoop.ipc.Client$Connection.receiveResponse(Client.java:501) ~
NameNode側には、以? のようなクラスタとクライアントのバージョンミスマッチが
発生しているログが出力される。
WARN org.apache.hadoop.ipc.Server: Incorrect header or version mismatch from 10.10.10.10:40424 got version 3 expected version 4
表面? ぜ Hadoopバージョンは、CDHぜ Azkabanの使用しているコミュニティ版ぜ
同一ぜ 0.20.2だが、Clouderaのバックポートで更新され互朏 性がなぜ なっている。
対? 方? は、azkabanぜ WEB-INF/lib配下の「hadoop-0.20.2-core.jar」を削除し、
CDH(/usr/lib/hadoop配下)の「hadoop-core-0.20.2-cdh3u4.jar」ぜ
「guava-r09-jarjar.jar」をWEB-INF/lib配下に置ぜ 。
上記ぜ warファイルをTomcat上に配置するパターンを想? しているが、
その場合、「servlet-api-2.5.jar」「catalina-ant.jar」あたりも
不要になるのでついでに削除する。削除すれば、以? ぜ INFOログを出力
しなぜ なる。
INFO: validateJarFile jar not loaded. See Servlet Spec 2.3, section 9.7.2. Offending class: javax/servlet/Servlet.class