オープンソースカンファレンス2013 Tokyo/Spring
オープンソースカンファレンスに行って来ました。openSUSE Linuxの展示ブースの手伝いを主に行ったのですが、主要なブースは回りました。主な関心事はHadoopクラスタのZabbixでの監視。
Hadoopについて
Hadoopを扱っているブースは沢山ありましたが、ヒューレッド・パッカード（日本HP）のブースで一番詳細な情報と資料をもらえました。Hadoop HBaseの、
- 性能検証
- 性能劣化対策
- バッチ処理高速化方法
- Map/Reduce検証
- Flume検証
- データ分析検証
- Bigdata分析などに関する30ページほどの紙の資料です（二部構成）。
また、HPはZabbixによるHadoopの監視テンプレートを作っていました。
Zabbixについて
Zabbix日本法人、Zabbixユーザー会のブースで詳しく聞いて来ました。いまZabbix2.0のYUMレポジトリを試しているそうで、もう間もなく公開されるそうです。
Zabbixのデータベース肥大化に関しては、やはりヒストリやトレンドを残す期間を短くするしか正規の解決方法がないそうです。
ZabbixのHadoop監視テンプレートは、Zabbix社やユーザー会では提供していないそうで、HPのテンプレートが良いそうです。
ヒューレッド・パッカード（日本HP）のZabbix用Hadoop監視プラグイン
ヒューレッド・パッカードによるZabbixのHadoop監視テンプレート（ヒューレッド・パッカードでは「監視プラグイン」と総称していました）ですが、
- 各ノードの統計情報をグループ単位で集約（合計、平均、最小、最大）して表示
- Hadoopノードの死活やエラーを監視
- 集約単位をカスタマイズ可能
- MapReduceモニタリング
- HBase MemStoreとブロックキャッシュの使用率
- Hbase Regionserverのヒープメモリ利用状況
- HbaseでホストされているRegion数の推移
- HBase Regionserver内の操作の遅延時間
- DatanodeのI/Oとかを色々監視できるそうです。さすが、ヒューレッド・パッカード、けっこうすごいですね。
それで、ヒューレッド・パッカードのブースでテンプレートの価格を尋ねてみたのですが、テンプレート単位での販売はやっていないそうです。いわゆる「コンサル」として実施することになるので、定価はなくて、人日単位や人月単位の価格になるということでした。
ただ、Zabbixも導入していて、Hadoopも構成できていて、あとはテンプレートが欲しいだけとかだと、当然人日も殆どかからないので、「バカ高い金額にはなりません」と言っていました。
改訂版 Zabbix統合監視実践入門 ~障害通知、傾向分析、可視化による省力運用 (Software Design plus)posted with カエレバ寺島 広大 技術評論社 2014-06-17