fluent と hoop を使って HDFS にリアルタイムにログを流す

Installation Setting

概要複数台のWebサーバのログを fluent と hoop を使ってリアルタイムにHDFSに追記していくテスト。より頻度の高い行動解析を行うことができるようになる？参考にしたブログ： tagomorisのメモ置き場テスト構成 # 初めてテキストで図書いた。 # 線を交差…

2012-03-12

Elephant Bird インストールメモ

Installation

pigの出力結果を圧縮した状態で出力するテストのために導入環境 CentOS 5.7 64bit JDK 6u30 64bit Apache Ant 1.8.2 Hadoop 0.20.2-cdh3u3 Pig 0.8.1-cdh3u3 Hadoop-LZO 0.4.15 thrift(version 0.5.0 指定) インストール yum install php-devel python-deve…

2012-03-03

CUI環境の Linux に Dropbox をインストール

Installation

環境 Debian Squeeze x86_64 Dropboxインストール Dropboxダウンロード & 展開 $ cd ~ && wget -O - http://www.dropbox.com/download?plat=lnx.x86_64 | tar xzf - Dropbox起動 $ ~/.dropbox-dist/dropboxd初回起動時には以下のメッセージが表示される This…

2009-11-14

Windows 7 上に Rails 2.3.4(Ruby 1.9.1 MySQL 5.4.3-beta) 開発環境を構築した時のメモ

Installation

環境構築のスピードを重視しています。環境 Windows 7 Professional 64bit Rubyインストール ActiveScriptRuby and Other packages の Ruby-1.9.1-p243 をダウンロードしインストール。インストールパスは C:\bin\ruby にした。 gemをアップデート gem upd…

2009-06-29

CentOS 5.3(coLinux 0.7.4)にRuby 1.9.1とRailsをインストール

Installation

事前に以下のmkdirを実行しています mkdir -p ~/work/tar && mkdir ~/work/src Ruby 1.9.1をSourceからインストール # wget ftp://ftp.ruby-lang.org/pub/ruby/1.9/ruby-1.9.1-p129.tar.bz2 -P ~/work/tar # tar jxvfC ~/work/tar/ruby-1.9.1-p129.tar.bz2 ~…