Hadoopクラスタでメトリックス情報を取得する

Hadoopクラスタの統計情報の取得方法

Hadoopクラスタでメトリックス情報(統計情報)を外部サーバーから取得する方法は幾つかありますが、以下ではmetricsサーブレットを有効化する方法について解説します。

Hadoopクラスタの各ノードの/etc/hadoop/conf/hadoop-metrics.propertiesに以下の情報を追記します(既にパラメータが定義されている場合は置き換えます)。

その後、Hadoopクラスタ全体でHadoop関連のサービスを再起動させます。

これにより、外部からのHTTP通信でmetrics情報が取得できるようになります。具体的には、以下のような形式で取れます(以下、CDH4.2のTaskTrackerの例)。

これだと、ちょっと整形しにくいので、JSON形式で取得することも可能です。

JSON形式ならば、PerlやPHPなどで扱うのも楽になりますね。

Hadoopメトリックスで取得できる値

Hadoopメトリックスでは以下の値を取得することができます。

namenode

HBaseのメトリックス取得

HBaseも同様にメトリックス情報を取得することができます。/etc/hbase/conf/hadoop-metrics.propertiesに以下を追記します。

これでHBaseに関する統計情報も取得できるようになります。

参考:【 #hadoopAC11jp 】10日目・HBaseのメトリクス取得でハマった件とJSONでのメトリクス取得Hadoop メトリクス一覧と統計情報の出力HBaseのメトリックス

この記事をシェアする