Hadoopの通信用ポートの固定
∵ Takayoshi Saito ∴ 2015-08-07 ∞ 1'
Hadoop通信用ポートの固定
Hadoop通信用ポートの固定には、/etc/alternatives/hadoop-conf/mapred-site.xmlを編集します。こちらは通常、以下のような内容になっています。
mapred.job.tracker
logicaljt
mapred.jobtrackers.logicaljt
jt01,jt02
mapred.client.failover.proxy.provider.logicaljt
org.apache.hadoop.mapred.ConfiguredFailoverProxyProvider
mapred.jobtracker.rpc-address.logicaljt.jt01
nn01.*************:8021
mapred.job.tracker.http.address.logicaljt.jt01
0.0.0.0:50030
mapred.ha.jobtracker.rpc-address.logicaljt.jt01
nn01.************.jp:8023
mapred.ha.jobtracker.http-redirect-address.logicaljt.jt01
nn01.*************:50030
mapred.jobtracker.rpc-address.logicaljt.jt02
nn02.****************:8021
mapred.job.tracker.http.address.logicaljt.jt02
0.0.0.0:50030
mapred.ha.jobtracker.rpc-address.logicaljt.jt02
nn02.*****************:8023
mapred.ha.jobtracker.http-redirect-address.logicaljt.jt02
nn02.*****************:50030
ha.zookeeper.quorum
nn01.****************:2181,nn02.*****************:2181,dn10.***************:2181
mapred.jobtracker.restart.recover
true
mapred.job.tracker.persist.jobstatus.active
true
mapred.ha.automatic-failover.enabled
true
mapred.ha.fencing.methods
shell(/bin/true)
mapred.ha.zkfc.port
8018
mapred.client.failover.max.attempts
15
mapred.client.failover.sleep.base.millis
500
mapred.client.failover.sleep.max.millis
1500
mapred.client.failover.connection.retries
0
mapred.client.failover.connection.retries.on.timeouts
0
mapred.local.dir
/hadoop/mapred/local
mapred.system.dir
/mapred/system
mapreduce.jobtracker.staging.root.dir
/user
hadoop.job.history.location
file:///var/log/hadoop-0.20-mapreduce/history
mapred.jobtracker.taskScheduler
org.apache.hadoop.mapred.FairScheduler
mapred.job.tracker.handler.count
32
mapred.reduce.slowstart.completed.maps
0.5
mapred.jobtracker.retirejob.interval
86400000
mapred.job.tracker.persist.jobstatus.dir
/jobtracker/jobsInfo
mapred.jobtracker.completeuserjobs.maximum
20
mapred.jobtracker.plugins
org.apache.hadoop.thriftfs.ThriftJobTrackerPlugin
mapred.map.tasks.speculative.execution
true
mapred.reduce.tasks.speculative.execution
false
jobtracker.thrift.address
nn01.*****************:9290
hadoop.skip.worker.version.check
true
このXMLに以下の記述を追加します。
mapred.task.tracker.report.port
50050
これで通信用ポートの固定ができ、Metricsの情報を継続して追うことができるようになります。