ディストリビューション別AWS初期ユーザー AWSでLinuxのEC2インスタンスを構築した時の初期ユーザーについてまとめました。以下のユーザーでSSHログインできsudoを実行することができます。ディストリ初期ユーザー AmazonLinuxec2-user Centoscentos RHELec2-user Fedora Corefedora Ubuntuubuntu Debianadmin openSUSEec2-user Arch Linuxroot 実際にEC2を構築した場合はAMIの種類によって上記の表と異なる場合があります。…さらに読む

技術書典のためにRe:VIEWの環境構築 技術書典6に出す同人誌を書くためにMacでRe:VIEWの環境構築を行ったのですが、ハマったところが幾つかあったので共有します。…さらに読む

WordPressでAWS S3に画像ファイルを配置して表示させる AWS S3にWordPressの画像データを移動させて使用する方法です。WP Offload S3 Liteなどのプラグインを使う方法もありますが、今回はプラグインを使わず、S3をファイルシステムとしてEC2からマウントして使用する方法をご紹介します。AWS-CLIの環境設定を行います。…さらに読む

MySQLのチューニング箇所を提案してくれるmysqltuner.pl MySQLのパフォーマンスチューニングにはmysqltuner.plが便利です。現在のサーバーのMySQLの使用状況や/etc/my.cnfの設定を分析して、最適なチューニング法を提案してくれます。まずMySQLTuner-perlをダウンロードしましょう。$ git clone https://github.com/major/MySQLTuner-perl 次にmysqltuner.plを実行します。…さらに読む

MySQL5.6からMySQL5.7にアップグレードしたらエラー発生 AmazonLinuxやCentOSでMySQL5.6からMySQL5.7にアップグレードしてSHOW VARIABLEを実行したらエラーが発生しました。Couldn't execute 'SHOW VARIABLES': Table 'performance_schema.session_variables' doesn't exist (1146) performance_schema関連のテーブルがないみたい。mysql_upgradeで解消しました。…さらに読む

SE多重派遣問題が話題になっているので、自分も多重派遣の思い出を書く。派遣エンジニアの思い出 以前、「コールセンターで人を殺した思い出」という記事で、商社系のシステム開発部門に派遣されてクレジットカードのコールセンターの債権回収システムを開発した思い出を書いた。あの時ももちろん多重派遣だった。ティーカップに勤めるちょっと前の話だけど、私はサーバー技術に詳しくなりたくて、求人サイトで「未経験歓迎・研修制度あり」という求人を出していた恵比寿の会社に応募した。恵比寿の会社の面接で「サーバーに関してはどれくらい経験がありますか？」と聞かれた。…さらに読む

MacといえばHomeBrew 皆さんMacを使っていますか？私もMac・Linux・Windowsを３つ使い分けています。Macのパッケージ管理システムと言ったらHomebrewですね。私は新しいマシンが入ったらまず先にHomebrewをインストールしています。MacへのアプリケーションのインストールもApp Storeじゃなくて基本Homebrewから。ここで私がHomebrewでインストールしているアプリ一覧を晒してみます。…さらに読む

債権回収システムの開発 職務経歴には書いていないですが、まだIT業界の駆け出しだった頃、勤めていた会社の都合で商社系のシステム部門に派遣されました。その商社は誰もが名前を知っている有名なクレジットカードのシステムを受注していて、僕が担当したのはそのクレジットカードの債権回収システムの構築でした。債権回収システムというと聞こえはいいけれど、要は「借金かえしてね！」とお金のない人にお金を返させる仕組みです。僕がやっていたのはカード会社のコールセンターから自動的に債務者に大量に電話を発信する架電ハードウェアの制御でした。…さらに読む

近、フルスタックエンジニアって言葉がバズワードになっている。設計・インフラ・ミドルウェア・モバイル・デザインなど幅広い技術領域に渡って活躍するエンジニアのことを指す。いわゆる万能のエンジニアだ。自分の経験からすると、フルスタックエンジニアな人もいたけど、技術領域だけに留まらずディレクション能力なども兼ね備えるエンジニアもいた。ディレクターが日常業務として行うチームの調整作業・進捗管理・企画・数値解析なども行うことが出来るエンジニアだ。エンジニア全体からするとまだ少数派ではあるけれど、エンジニアの持つ課題解決能力や開発側から見た企画提案などを行える人はけっこういる。…さらに読む

Node-REDがかなり便利だった いま開発している機械学習系のプロジェクトで、外部のAPIと連携させる必要があったのでNode-REDを導入してみました。Node-REDを使うと、ハードウェアデバイス・API・オンラインサービスなどと連携するFlowをブラウザ上でヴィジュアル的に編集できるようになります。Node.jsがインストール済みならば以下のコマンドでインストールできます。$ npm install node-red Node-REDはlatestバージョンのNode.jsが推奨されているので、Node.jsのバージョンが古いならばアップデートさせておくと良いでしょう。…さらに読む

一般ユーザーによるファイル転送 lsyncdでrootユーザーではなく一般ユーザーでファイル転送をしたかったので（PermitRootLogin制約）、lsyncd.confを以下のように修正。これでrootではなく一般ユーザーで転送できた。lsyncdの書き方、バージョンによって大きく違っていて困る。…さらに読む

Linux Mintのインストール中にエラー USBメモリからLinux Mintをインストール中、以下のエラーメッセージが出てインストールできなかった。'grub-efi-amd64-signed'パッケージを/target/にインストールするのに失敗しました。GRUBブートローダなしでは、インストールしたシステムは起動しません。半日ぐらい手こずったけれど、Ubuntuフォーラムの以下の記事を見てインストールに成功した。…さらに読む

CentOSのredhat-upgrade-tool-cliでエラー CentOS6.8のサーバーをCentOS7にしようとした。…さらに読む

MongoDBセカンダリノードがオートフェイルバックしない HAProxyで負荷分散構成にしたアプリケーションサーバー群（Node.jsをpm2でデーモン化）からMongoose経由でMongoDBレプリケーション環境に接続しているのですが、先日にMongoDBセカンダリの幾つかのノードが疎通できない障害が起きました。MongoDBレプリケーション環境のためダウンしたノードは自動的に接続先から外され、アプリケーションサーバーのDB接続は問題が起きませんでした。…さらに読む

HAProxyを導入 クライアントiOSアプリのバックエンドサーバーで時々ロードバランサーが機能していない時があり、これを契機にkeepalivedとipvsadmとHAProxyによる高可用性クラスタを組むことになりました。ただ、データセンター側の制約でHAIP（VIP）が構成出来ないことが発覚して、急きょHAProxyとDNSラウンドロビンでAppサーバーにラウンドロビンすることになりました。以下、設定メモです。…さらに読む

Apacheのaccess_logが記録されない障害 LVS配下のWEBサーバーでiptablesを動かしていたのですが、秒間アクセス2000くらいからApacheのアクセスログが記録されないという障害に悩まされていました。LVS・Apacheともに正常に稼働していて、access_logも全部記録されないわけではなく一定の確率で記録されていませんでした。error_logにも原因と思われる兆候なし。いわゆるログロストが断続的に続いている状態で、Apacheのパフォーマンスチューニングやカーネルパラメータのチューニングも行ったのですが、原因の方が掴みきれずにいました。…さらに読む

ヒューレッド・パッカードのWEBサイトに掲載されました ヒューレッド・パッカード日本法人が開発したHadoop / HBase用Zabbixプラグインの導入事例として、先ほどヒューレッド・パッカードに私のインタビュー記事が掲載されました。以下のリンクからご覧になれます（下から三分の一くらいのところに私が登場します）。フルスピードが、Hadoop/HBaseを活用し大規模データ分析システムを構築 フルスピードが、Hadoop/HBaseを活用し大規模データ分析システムを構築（PDF版） CDH4.3.0のHadoop / HBaseを監視するって世界でもまだあんまり事例が少ないかもしれません。…さらに読む

取引先でHadoopのデータノードがダウン 取引先のHadoopクラスタにおいて、データノードが突然ダウンする障害が発生しました。以下のコマンドでDead datanodeのサーバーを検知しました。…さらに読む

CentOSでIRCサーバーを構築する LINEやSkypeやチャットワークなどのコミュニケーションツールが流行っていても、やはり社内チャットの定番はIRC（Internet Relay Chat）！そこで今回はCentOS6にIRCサーバーを構築する方法をご紹介します。IRCサーバーは社内にも立てられますが、さくらVPSなど外部サーバーを使った場合も想定してSSL通信で暗号化する方法も解説いたします。ircd-hybridをインストール IRCサーバーのミドルウェアはいくつかありますが、今回はCentOS標準で用意されているircd-hybridをインストールしてみます。…さらに読む

Hadoop通信用ポートの固定 Hadoop通信用ポートの固定には、/etc/alternatives/hadoop-conf/mapred-site.xmlを編集します。こちらは通常、以下のような内容になっています。…さらに読む

Namenode HA再起動手順 #nn02の停止 @nn02 /etc/init.d/hadoop-0.20-mapreduce-jobtrackerha stop /etc/init.d/hadoop-0.20-mapreduce-zkfc stop /etc/init.d/hadoop-hdfs-namenode stop /etc/init.d/hadoop-hdfs-journalnode stop /etc/init.d/hadoop……さらに読む

CentreCOM 9606T設定例 VLAN二個構成のような感じならば、下記の書き方で動くかと思います。IPは適宜置き換えてください。…さらに読む

Zookeeperのトランザクションログの運用 Hadoopと組み合わせて使用されるZooKeeperは、タイミングが非常に重要な高可用性の分散協調システムです。NTPを設定してログの時刻ずれが無いように設定しておく必要があります。また、Zookeeperのトランザクションログとスナップショットは別のディスクドライブに保存することが望ましいとされています。ログが頻繁に書き込まれるため、I/O性能の良いSSDなどのフラッシュストレージに保存しておくことが望ましいです。これらはdataDirおよびDataLogDirプロパティによって設定が可能です。…さらに読む

Linuxのファイルシステムの特徴 LinuxのEXT4やBrtfsやEXT3などのファイルシステムは、i-nodeとブロック領域の２つで構成されています。ファイルのデータはブロック領域に格納されます。そのブロックの管理領域には、ファイルの実データが格納されている位置やファイル・サイズ、変更時刻などの管理情報が記録されます。これがi-nodeです。各ファイルやディレクトリのi-node番号を確認するには、ls -iコマンドを実行します。…さらに読む

ActiveMQの61616ポートが開放されない 先日、ActiveMQでフェイルオーバー時にMySQLと連携させる記事を書きましたが、MySQLと連携させるとActiveMQの通信ポート61616がなぜか解放されない問題が起きました。ログを見るとこんな感じ。…さらに読む

Apacheでスコアボードがフルになるエラー Apache2.4で動かしているAPIサーバーで以下のエラーログが出力されていた。Resource temporarily unavailable: apr_thread_create: unable to create worker thread リソースが足りないと言われているので、MaxRequestWorkersやMaxConnectionsPerChildを見直したんだけど、今度は↓のようなエラーが出力されるようになった。…さらに読む

ClouderaのCDH4.3.0のHadoopを簡単に試す HadoopやHDFSやHBase、さらにはHiveやImparaの勉強はしたくても手始めに何を始めたらいいのか迷う方は沢山いると思います。でも、心配いりません。ClouderaではQuick Start VMとして、VMwareやKVMやVirtualBoxに対応したCloudera関連のパッケージがつまったVMを配布しています。このVMを使えば、5分〜10分くらいでClouderaのHadoop開発環境や検証環境(CDH4.3.0)を仮想環境に構築することができます。…さらに読む

ActiveMQとは ActiveMQとは、Java Message Serviceを実装したメッセージ関連のミドルウェアです。ActiveMQをインストールすることで、アプリケーションは非同期型のメッセージキューイングを行うことができます。メッセージを非同期にやり取りするため、一時的にシステムがダウンしても影響を受けずに処理を再開させることが可能です。以下のような感じです。ActiveMQのインストール ActiveMQはソースコードで提供されていますが、RPMの作成も可能です。ここではいったんRPMを作成してインストールする手順を解説します。…さらに読む

Hadoop・HbaseをCDH4.3.0にアップグレードしたら障害発生 ClouderaのCDH4.3.0のYUMレポジトリが公開されたので、CDH4.2.0のHadoop・HBaseをアップグレードしました。全RPMが問題なく入ったのですが、CDH4.2.0ではバッチ処理で問題なく使えていたHBaseのデータが正常に取得できない障害が発生しました。ログ出力は以下のような感じです。…さらに読む

git pushでデプロイしたい ローカルレポジトリにgit commitした後に、問題なければリモートレポジトリにgit pushすることになりますが、git pushしただけではリモートレポジトリの情報が更新されるだけでデプロイはされません。今までデプロイ作業は自宅サーバーにログインして、git pullを行なっていたのですが、それは面倒なのでgit pushのタイミングでデプロイを自動化することにしました。まず、レポジトリを立てるところから順を追って解説します。…さらに読む

Dellのサーバーの消費電力を計算する Dellの方で用意しているサーバーの消費電力シミュレーションシートがあります。http://www.dell.com/content/topics/topic.aspx/global/products/pedge/topics/en/config_calculator?c=us&cs=04&l=en&s=linux ↑でStart ESSAをクリックすると、ラック・サーバー選択画面になります。PowerEdgeも選択できます。…さらに読む

RedHatもMySQLからMariaDBに移行する 既にFedoraやopenSUSEなどのディストリビューションは、MySQLからMariaDBへ移行していたのですが（移行は強制ではなく、MySQLもオプションのパッケージとして標準レポジトリには登録されています）、昨日になって、Red Hat Enterprise Linux 7でもMySQLに代えてMariaDBを採用というニュースも飛び込んできました。RHEL7でMariaDBが採用されるということは、そのクローンであるCentOSでもMariaDBが標準になっていくと思われます。…さらに読む

upstream sent too big headerエラー Nginx + PHP-FPM構成で、クライアント環境（ブラウザ設定）によっては以下のようなエラーが発生してページが閲覧できない場合があります。…さらに読む

Zabbixサーバー障害発生時に自動的に電話を掛けさせる方法 Zabbixからの電話発信方法 http://www.slideshare.net/BlueSkyDetector/zabbixjp-study-20100730-2nd-session 実行にはX Window & Skypeが必要ですが、幸いなことに監視サーバーにはX Windowが入っています。俺のZabbixがこんなに可愛いわけがない　~おかわり~ http://www.slideshare.net/sechiro/zabbix-6898674 CentOS6.3にSkypeをインストール まずこれが大変でした。…さらに読む

Nginxのコンパイルオプション ./configure  \ --conf-path=/etc/nginx/nginx.conf   \ --error-log-path=/var/log/nginx/error.log  \ --pid-path=/var/run/nginx/nginx.pid   \ --lock-path=/var/lock/nginx.lock   \ --user=nginx   \ --group=nginx   ……さらに読む

Hadoopクラスタの統計情報の取得方法 Hadoopクラスタでメトリックス情報（統計情報）を外部サーバーから取得する方法は幾つかありますが、以下ではmetricsサーブレットを有効化する方法について解説します。Hadoopクラスタの各ノードの/etc/hadoop/conf/hadoop-metrics.propertiesに以下の情報を追記します（既にパラメータが定義されている場合は置き換えます）。…さらに読む

CiscoのL3スイッチの初期設定は超簡単 CiscoのL3スイッチCatalystシリーズの名前を出すと、ネットワークに詳しくない技術者を中心に「すごく難しそう」と思う人は多いのですが、初期設定自体はすごく簡単です。今回はCatalyst 3750-X（24ポート）を例に解説します（Catalyst 3750-Xは40万円くらいで買えます！安いですね！円安になってしまう前の今がチャンスかもしれません。私はAmazonで買いました） 割り当てられた回線のネットワーク情報が以下であったと仮定します。…さらに読む

SSD「840 Pro」512GBについて 秋葉原でサムスンのSSD「840 Pro」512GB（MZ-7PD512B/IT）を自宅サーバー用に買って来ました。840 Proシリーズは市販SSDとしてはインテル以外では初の、サーバー向けにも使えるSSDで、高い性能と耐久性がウリ。1秒間に540MBの読み込みができ、520MBの書き込みができます。SSDの致命的な弱点は書き込み上限回数が決まっているので「寿命」が存在することですが、840 Proは「１日40GBの書き込みを5年間続けても動作を保証します」というサムスンの保証付き。…さらに読む

SSHが強制切断されるという連絡 私の手伝っているプロジェクトで、SSHが強制切断されるという報告がありました。ssh test02 Last login: Thu Apr 4 18:51:35 2013 from 192.168.0.2 Connection to test02 closed. 上記のような感じで強制終了されてしまう。どのユーザーでも発生しているようです。SSHデバッグモードで実行 とりあえずデバッグモードでクライアント側のログを調べて見ました。…さらに読む

今までの自宅サーバー高速化の取り組み このブログはWordPressを自宅サーバー（自作パソコン）で構築・配信しているのですが、今まで様々な高速化への取り組みやパフォーマンスチューニングを行って来ました。代表的なものでも以下のような対策を講じてきました。…さらに読む

Linux版TeamViewer とあるデータセンターに置いているCentOS6.3の最小構成のサーバーで、どうしてもX Windowをリモートで操作する必要が発生しました。そこで、まず**Linux版teamViewer**を入れてみました。最初に、最小構成のCentOS6サーバーだったのでGNOMEデスクトップ環境を後からインストールしました。…さらに読む

債権回収システムの開発 職務経歴には書いていないですが、まだIT業界の駆け出しだった頃、勤めていた会社の都合で商社系のシステム部門に派遣されました。その商社は誰もが名前を知っている有名なクレジットカードのシステムを受注していて、僕が担当したのはそのクレジットカードの債権回収システムの構築でした。債権回収システムというと聞こえはいいけれど、要は 「借金かえしてね！」とお金のない人にお金を返させる仕組みです。僕がやっていたのはカード会社のコールセンターから自動的に債務者に大量に電話を発信する架電ハードウェアの制御でした。…さらに読む

さくらVPS　SSDプランと計測方法 さくらのVPS SSD メモリ1Gプラン（石狩データセンター）のディスクI/O性能を計測しました。CentOS6.4の64ビット構成、ファイルシステムはEXT4、SSDの容量は50GBです。計測にあたっては、bonnie++を使用しました。bonnie++はYUMでインストールできます。sudo yum install bonnie++ bonnie++のコマンドオプションは以下を使用しました。…さらに読む

SSH認証の設定は全ユーザーが影響を受ける SSH認証は/etc/ssh/sshd_configで設定できます。ここで、パスワード認証方式または公開鍵認証方式（RSA・DSAなど）またはその両方を併用などに設定できるのですが、この設定は全ユーザーが影響を受けます。例えば、セキュリティのために公開鍵方式に限定した場合、全ユーザーが公開鍵方式を使用することになります。逆もしかりです。併用にすると、公開鍵かパスワードのどちらかで認証できますが、セキュリティ上最も脆弱な状態になります。…さらに読む

AWSって料金は高いの？ 高いです。時間貸しで従量課金なので、同スペックの専用サーバーを借りるよりランニングコストは高い。ただ、負荷に応じてサーバー（EC2インスタンス）をがんがん追加できるし削減も簡単なので、「どれくらいのアクセス規模に成長するか予測がつかないので、最初はスモールスタートで始めて、サービス規模の拡大に応じてサーバーを追加したい」という用途向けです。アクセス規模が読めて一定程度しか変動しないサービスならば、AWSを使うメリットは特にないかもしれえません。CDNを必要とするサービスならば、CloudFrontの料金は安いです。…さらに読む

Apacheでロードバランサー Apache2.2以上では、mod_proxy_balancerを使ったロードバランサーの構築が可能です。まず、httpd.confで以下のモジュールを有効化します。…さらに読む

秋葉原のガラケー・スマホ実機検証会社 ケータイラボ http://www.ktai-labo.com/ 住所：東京都千代田区神田佐久間町4-14　ニューイワサキビル5F 大きな地図で見る 料金項目料金単位備考 1.基本料金¥9,0001日台数に関わらず一律。2.携帯電話利用料金(最初の30分)¥1,0001台スマートフォン・携帯・タブレットなど端末種別による料金の違いはなし。2.携帯電話利用料金(以降30分延長ごと)¥5001台 3.ルームチャージ¥1,00030分4名程度までの部屋。¥1,5008名程度までの部屋。¥1,500大阪支店での利用の場合。…さらに読む

muninとは muninはサーバーリソース管理ツールです。とにかく、ひたすらグラフ化、可視化、見える化するツールです。名前の由来は、北欧神話の神オーディンに世界中の情報を収集して伝達するワタリガラスです。RRDtoolとPerlで作られています。こんなグラフを生成してサーバーのリソースをほぼリアルタイム（約5分おき）に伝えてくれます。私のサーバーのMuninは以下のアドレスで閲覧できます（自宅サーバーなので大規模ではないですが）。…さらに読む

福島第一原発事故と報道と統計学 東日本大震災が起きてから２年。この間、特に福島第一原発事故の放射線被害を巡って様々なニュースが流れ、その中には事故によって人々の健康に重要な影響を与えているのではないかという話題も沢山出ていました。確かに福島第一原発の事故は甚大な被害であり、その影響は健康被害も含めて正確に検証していく必要があります。しかし、この間に報道されたいくつかの報道やデータは、統計学の見地からは有意とは言えないものも多数含まれていました。もちろん統計学の見地が全てではありません。…さらに読む

WEB2.0勉強会を開催する固有の意義 - Wikipediaは概念を羅列して相互に等値で結合させているモデル - マインドマップは中心概念が存在して連鎖的に関連づけるモデル - 勉強会はセマンテックにWEBのサブシステムとして機能させたい - Wikipedia型だと従来型の勉強会との固有差がない。マインドマップを参考に情報の中心概念を設置して、その関連づけを示すメタ情報を付与していくべきではないか。…さらに読む

オープンソースカンファレンス2013 Tokyo/Spring オープンソースカンファレンスに行って来ました。openSUSE Linuxの展示ブースの手伝いを主に行ったのですが、主要なブースは回りました。主な関心事はHadoopクラスタのZabbixでの監視。Hadoopについて Hadoopを扱っているブースは沢山ありましたが、ヒューレッド・パッカード（日本HP）のブースで一番詳細な情報と資料をもらえました。…さらに読む

Linuxサーバーでネットワーク速度を計測する方法 linuxサーバーの場合、基本的にクライアントからサーバーへの速度がどれくらい出ているのか、帯域制限は掛かっていないかなどは、コマンドベースで計測することになります。ただ、iperfという便利なツールがあって、これを使うと、簡単にクライアントからサーバーへの通信速度を計測することができます。負荷がかかってサーバーの応答が遅いのに、サーバーのリソースはスカスカ、などの状態の時に、ネットワークがボトルネックになっているかの判定にぜひご活用ください。iperfの導入 iprefはクライアントとサーバーの両方にインストールすることになります。…さらに読む

NetworkManagerの問題点 openSUSEでは、ネットワーク接続方式で、ifupか、NetwokManagerが選択できるのですが、NetworkManagerの場合はブリッジ接続ができません。このため、XenやKVMやVirtualBoxなどの仮想環境も構築しているサーバーでは、ゲストOSでのブリッジネットワークが接続できなくなります。…さらに読む

NVR500でPPTPでVPN VPNを使えば、外出先から簡単に自宅のネットワークに入ることができます。YAMAHAのルーターNVR 500によるVPNは、IPSecは使えずPPTPのみなので、PPTPでVPNを構成します。…さらに読む

ネットワークのカーネルチューニング 自宅のメインデスクトップ（openSUSE 12.2 Xenカーネル）に、はてなブックマークで話題になっていたLinuxネットワークスループット改善策をやってみました。/etc/sysctl.confに以下を記述します（参考：Linuxのネットワークスループット改善法教えます）。…さらに読む