ヒューレッド・パッカードのWEBサイトに掲載されました ヒューレッド・パッカード日本法人が開発したHadoop / HBase用Zabbixプラグインの導入事例として、先ほどヒューレッド・パッカードに私のインタビュー記事が掲載されました。以下のリンクからご覧になれます（下から三分の一くらいのところに私が登場します）。フルスピードが、Hadoop/HBaseを活用し大規模データ分析システムを構築 フルスピードが、Hadoop/HBaseを活用し大規模データ分析システムを構築（PDF版） CDH4.3.0のHadoop / HBaseを監視するって世界でもまだあんまり事例が少ないかもしれません。…さらに読む

データサイエンティストとは データサイエンティストとは、統計学に関する専門スキルや知識を駆使し、膨大なデータ（ビッグデータ）に対して仮説を立てて解析して、最適化を目指す人々のことを指すと言われています。オンライン広告（DSP・SSP・RTB）や、データマイニング、マーケティング、レコメンデーション、ソーシャルデータ解析、CRMなど幅広い分野でデータサイエンティストが必要とされています。技術的には、HadoopでHiveのクエリを投げて解析したり、Rで多変量解析したり、機械学習系のアルゴリズムを習得している人達です。それにプラスで業務知識と統計学に関する理解が求められます。…さらに読む

Hadoop通信用ポートの固定 Hadoop通信用ポートの固定には、/etc/alternatives/hadoop-conf/mapred-site.xmlを編集します。こちらは通常、以下のような内容になっています。…さらに読む

Namenode HA再起動手順 #nn02の停止 @nn02 /etc/init.d/hadoop-0.20-mapreduce-jobtrackerha stop /etc/init.d/hadoop-0.20-mapreduce-zkfc stop /etc/init.d/hadoop-hdfs-namenode stop /etc/init.d/hadoop-hdfs-journalnode stop /etc/init.d/hadoop……さらに読む

Cicindelaとは その昔、ライブドアがlivedoor Clipというソーシャルブックマークサービスを提供していました。livedoor Clipでは、今現在の国内スタンダードなはてなブックマークとは異なり、かなり初期の段階からレコメンデーションエンジンやコメント1000文字化や関連商品などの機能を搭載していました。そのうちレコメンドエンジンに関する部分、「あなたにオススメのクリップ」「このページをクリップしたユーザーはこのページもクリップしています」は「Cicindela」として、livedoor Clipのデータセットと共にオープンソースで公開されました。…さらに読む

Zookeeperのトランザクションログの運用 Hadoopと組み合わせて使用されるZooKeeperは、タイミングが非常に重要な高可用性の分散協調システムです。NTPを設定してログの時刻ずれが無いように設定しておく必要があります。また、Zookeeperのトランザクションログとスナップショットは別のディスクドライブに保存することが望ましいとされています。ログが頻繁に書き込まれるため、I/O性能の良いSSDなどのフラッシュストレージに保存しておくことが望ましいです。これらはdataDirおよびDataLogDirプロパティによって設定が可能です。…さらに読む

ClouderaのCDH4.3.0のHadoopを簡単に試す HadoopやHDFSやHBase、さらにはHiveやImparaの勉強はしたくても手始めに何を始めたらいいのか迷う方は沢山いると思います。でも、心配いりません。ClouderaではQuick Start VMとして、VMwareやKVMやVirtualBoxに対応したCloudera関連のパッケージがつまったVMを配布しています。このVMを使えば、5分〜10分くらいでClouderaのHadoop開発環境や検証環境(CDH4.3.0)を仮想環境に構築することができます。…さらに読む

RとMySQLの連携 まず、Rを起動させてDBIとRMySQLのパッケージをインストールさせます。$ sudo R R version 2.15.2 (2012-10-26) -- "Trick or Treat" Copyright (C) 2012 The R Foundation for Statistical Computing ISBN 3-900051-07-0 Platform: x86_64-suse-linux-gnu (64-bit) Rは、自由なソフトウェアであり、「完全に無保証」です。一定の条件に従えば、自由にこれを再配布することができます。…さらに読む

Hadoopクラスタの統計情報の取得方法 Hadoopクラスタでメトリックス情報（統計情報）を外部サーバーから取得する方法は幾つかありますが、以下ではmetricsサーブレットを有効化する方法について解説します。Hadoopクラスタの各ノードの/etc/hadoop/conf/hadoop-metrics.propertiesに以下の情報を追記します（既にパラメータが定義されている場合は置き換えます）。…さらに読む

フェルミ推定のお話 「1台のバスにゴルフボールは何個入りますか？」 「シカゴにピアノ調律師は何人いますか？」 「東京に電柱は何本ありますか？」 Google入社試験などでよく出題されるフェルミ推定の解き方。ビッグデータを短期間で推定するための着想・工程・計算方法。電話のお話 PSTN（公衆交換電話網）への入り方。電話の切断理由コードの取得方法。Asteriskを使ってパソコンをPBX（構内電話交換機）にする方法。ファイルシステムのお話 NTFS、EXT4、XFS、ZFSなどの特徴とジャーナリング構造。rm -rfコマンドで誤って消したファイルを直ちに復活させる方法とか。…さらに読む

教育問題は誰でも議論ができる 「郷土愛・愛国心育むため」　安倍内閣が識者会議設置へ 「ふるさとを理解することが、郷土愛や愛国心を醸成する」（政府関係者）として、小学校で地域の歴史や文化を学ぶ機会を増やすなど、教育も議論のテーマに取り上げる。教育の真の目的は、志ある国民を育て、品格ある国家、社会をつくることでございます。（山谷えり子氏（自民党参議院議員） 教育問題は誰でも議論ができる。誰もが教育を受けたことがあるから、自分の経験に従って教育論を展開できるし、自分の教えたい内容を教育改革として打ち出せばいい。ただ、それはあくまでも個人の教育論の話だろう。…さらに読む

福島第一原発事故と報道と統計学 東日本大震災が起きてから２年。この間、特に福島第一原発事故の放射線被害を巡って様々なニュースが流れ、その中には事故によって人々の健康に重要な影響を与えているのではないかという話題も沢山出ていました。確かに福島第一原発の事故は甚大な被害であり、その影響は健康被害も含めて正確に検証していく必要があります。しかし、この間に報道されたいくつかの報道やデータは、統計学の見地からは有意とは言えないものも多数含まれていました。もちろん統計学の見地が全てではありません。…さらに読む

Rとは何か Rはオープンソースの統計解析の実行環境です。OSに拘らず、様々な環境で実行できます。統計解析業務に当たっている人では知らない人はいないほどメジャーなツールです。WEBマーケティングに必要な重回帰分析はもちろんのこと、以下のような解析環境を提供しています。- ベクトル、配列、行列、データフレーム(テーブルに相当)、リスト、時系列、などの動的型付けデータ型。（後出「データ型」参照） - 高階関数(データとして関数を操作する関数)を、ベクトル処理として記述可能。- 『モデル式』の導入により、複雑な統計モデル記述と曲線あてはめ等のモデルフィット指示を、簡潔で統一的に表現可能。…さらに読む