読者です 読者をやめる 読者になる 読者になる

hadoop

Hadoopクラスタ構築 AccessControlException: Permission denied

Hadoopクラスタ構築でつまったこととして1. hadoop.tmp.dirの権限がおかしいといわれたケース 2. MapReduceジョブ実行時にAccessControlException: Permission deniedエラーのケースの2件についてのメモ! 1. hadoop.tmp.dirの権限がおかしいといわれたケース…

なんとかinstall battle

KVM上の仮想マシンクラスタにHadoop環境を構築する話。 KVM 参考 ! [Flatlabs] "KVMのホストOS(CentOS)のネットワークをブリッジ化する設定"] "CentOS6.2 KVM環境構築" [PC便利帳] ”qemu, kvmでブリッジ接続 (RHEL, CentOS編)” [kenjiskywalker no memo] "■[…

ComSys2012で発表してきました

12/6,7とComSys2012@筑波大学へ行ってきました。 発表スライド AspectJを用いた大規模分散システムHadoopの監視とプロファイリング from ryukln 発表直前まで発表時間を、勝手に90分で3人の発表者がいるのだからと90÷3=30分で25分の質疑5かと考えていたのが×…

hadoop メトリクスの話

めもめもm(.._) http://www.slideshare.net/sechiro/zabbix-jp-hadoophbase20120512 「ZabbixによるHadoop/HBaseの監視」 日本ヒューレット・パッカード株式会社 https://issues.apache.org/jira/browse/HADOOP-6599

PRDC2012で発表してきました

PRDC2012@TOKIMESSEで発表してきました。 テーマは「Method for Monitoring and Profiling of Hadoop using AspectJ」です。 自分の英語下手と10分制限なのにスライド多すぎたりと結果質問が少なくて残念でした。。。

Hadoop メトリクス一覧と統計情報の出力

参照: HADOOP HACKS - 1章 Hadoopに関する統計情報 双六工場日誌 - Hadoop メトリクスの一覧 hadoop.apache.org - 本家 取得可能な統計情報として、HDFS、MapReduce、JVM、RPCをあげている。 HDFSに関する統計情報 NameNode、DataNodeとHDFS全体の三種の統…

© karahiyo