「Asakusa Framework 勉強会 2014夏」に参加してきました

前回 (「Asakusa Framework 勉強会 2014春」に参加&発表してきました) は発表もしたので緊張してましたが, 今回は参加だけなので気楽に聞いてきました. 台風の影響で開催されるか心配していましたが, 台風は消滅し無事に開催されました.

最初の発表は土佐さんによる「Asakusa Framework はじめの一歩」でした. 前回も同じテーマで発表されていますが, 前回のライブコーディングとは打って変わって紙芝居形式の資料を使った発表になっていました.

DMDL エディタの新しいバージョンを使っているのは当然として, Toad エディタまで使いこなした開発過程を見て, この資料の完成度の高さに感動しました. 実は今日初めて Toad エディタでフローを作る方法が分かったりしました(苦笑) 現在, Toad エディタの解説資料はこれが唯一のものじゃないかしら?

2 人目は川口さんによる「Asakusa歴史探訪&ここ最近の新機能」で, Asakusa Framework の歴史を辿る内容でした. 自分自身は Asakusa Framework の発展に付き合いながら仕事をしてきたので, だいたいの部分は知っていたのですが, 自分が関わる ver 0.2.2 以前の話や「それぞれの機能をどんな目的と意図を持ってリリースしたのか」という話は面白かったです.

改めて Asakusa Framework の成長過程を振り返ると, 案件からの要求要望を受け, しかしむやみに機能や仕様を肥大化させないように気を遣いながら, バージョンが上がっていったことが分かりました. ここはとても Asakusa らしいところだと思います.

今後もどんどん機能が増えていくはずなので, 自分はユーザとして楽しみです.

3 人目は才所さんによる「Asakusa Framework 部会って何ですか?」です. 最初「OSS コンソーシアムに Asakusa のグループができるよ」って聞いたときには, 正直あまりイメージが湧きませんでした. しかし, どんな目的でどんな方向の活動をしていこうとしているのかを聞いて,「真剣に Asakusa のビジネスを作っていこう」という意気込みを感じました.

部会で行った Hadoop と Asakusa をどのくらい使ったことがあるか? についてのアンケートの結果は興味深かったです. 細かい数字は忘れましたが, Hadoop に比べ Asakusa は使用されていない傾向があり, 特に「試しに動かしてみる」が少なかったです. おそらくこれは Asakusa が Hadoop と比べてさえ, とっつきづらさを抱えているのでしょう. Jinrikisha や Shafu などの各種サポートツールも出ていますが, さらにとっかかりのハードルを下げる何かが必要な気がします. そういうツールなり仕掛けを作っていけたらな, と思っています.

4 人目は福垣内さんによる「Asakusa を使った Asakusa EMR 環境での分散分析基盤構築」です. 聞いてみると予想以上にガチで Asakusa や EMR を分散処理バッチ基盤として使い, 2 時間弱かかるくらいの規模のバッチを動かしていました. そこで印象的だったのが「このくらいの規模のバッチだと, 初期投資, 複雑な処理が書ける仕組み, 運用費などの面で Asakusa を EMR で動かすのがちょうど良かった」という発言でした. SQL でバッチ処理するには辛いし, Redshift だと大掛かり過ぎるようです.

基盤の構成も, MySQL –> S3 –> EMR –> S3 –> MySQL と前回の私の発表とそっくりな構成を取られていました. また S3 のパスを切り換えることで, 本番, テストの切り換えができるそうで, そこもそっくりです. やはり他の人も同じ発想になるんだなぁ, と面白かったです.

ということは Asakusa + EMR というのは 1 つのパターンになりそうなので, サンプルプロジェクトのバリエーションとして EMR 版を作っても面白いと思いました. これを使って気軽に Asakusa を試す人が増えてくれれることを狙いたいです.

 

次回と次々回の勉強会の予定も既に立っているそうで, 8/22 の「2014 真夏」はノーチラス・テクノロジーズにて, 10/17 の「10/17 秋」はサイトロック様にて行われる予定だそうです. 真夏の方はビアバッシュ形式らしいので, いったい何が起こるのか楽しみです!!

それでは.

広告

「Asakusa Framework 勉強会 2014春」に参加&発表してきました

Asakusa 勉強会の第2回となる「Asakusa Framework 勉強会 2014春」(http://connpass.com/event/5475/) に参加して, 運用について発表してきました.

ここ2年くらい日次バッチの運用の面倒を見ていて, その経験から得られた教訓やノウハウを語ってきました. 体系立ててあるわけではないですが, どうやったらバッチの運用が楽になるかのポイントを整理して並べてあります. 運用を上手く回すのに銀の弾丸は無いので, 今回の発表も地味な話の積み重ねですが, 新たに Asakusa バッチを運用する人の指針になれば嬉しいです. 資料は http://www.slideshare.net/KinebuchiTomo/asakusa-batch-operation に上げてあります.

発表中の雰囲気や Twitter のつぶやきを見ると, 悪くない反応をいただいているようです. それだけにみなさんシステムの運用で苦労されているということでしょうか.

他の方の発表も多岐に渡っていて面白かったです. IaaS 基盤を構築する RACK というツールや, JobSchedular という機能そのままの名前のツールの紹介では, ツールの存在を知ることができました.

土佐さんによる車夫と DMDL エディタのライブコーディングによる紹介は素晴しかったです.「ツールはあるが, どう使えば良いのか?」というのは使い始めでよく引っ掛かってしまうところで, そこをフォローするような発表内容でした. 自分には無い発想で, あのような発表が Asakusa を知ったばかりの人には必要なのだなぁと納得していました.

Asakusa Framework に興味を持っているはずの今日の参加者でも, Asakusa を触ったことのある人は3割程度でした. もっと名が広まって, 使ってみる人が増えるには, まだまだ草の根的な運動を続けていく必要があるのでしょう. 既に次の勉強会も7/11に品川と決まっているそうです. 次回の勉強会では, 開発工程でずっと使う「Asakusa Gradle Plugin」あたりのネタで発表したいところです.

この勉強会を開催していただいた土佐さん, 会場を貸していただいた新日鉄住金ソリューションズ様ありがとうございました.

yum で CDH3 の特定バージョンをインストールする方法

https://kinebuchitomo.wordpress.com/2012/03/24/webdb-press-vol-67-補足-追記/ でも書きましたが, CDH3 の update のバージョンを指定できると嬉しいのです. ただ上の方法だと別のバージョンを入れるときに, わざわざ repo ファイルと書き換えなくてはなりません.

そこで複数バージョンに対応した yum 用の repo ファイルを作成しました. 内容と使い方は Gist  に載せてあります. https://gist.github.com/2651006 CDH3u4 はまだ mirror ファイルが用意されていないので, コメントアウトしてあります.

apt などでもきっと同じようにできるはずです. できたら是非 Cloudera の方や私に教えてください.

WEB+DB Press vol.67 補足 (追記)

2012/02/24 発売の WEB+DB PRESS Vol.67 で記事を書かせていただきましたが, 紙幅の都合上載せ切れない文章がありました. その部分の文章を追記としてここに載せておきます. (技術評論社様のサポートページからもリンクを張っていただけるそうです)

挿入箇所は P.100 右カラム「CDH のインストール」の節です.「詳細は Cloudera のページを参照してください。」の後に以下の文章を追加するものと思ってください.

4章で使用するAsakusa 0.2.5が対応しているCDH3u2をインストールするため、Clouderaのページの手順「Step 1: Download the CDH3 Repository or Package.」においてOSの種類に応じて以下の作業を行ってください。

Red HatとCentOSではStep1のTo add the CDH3 repositoryの項の手順に従ってcloudera-cdh3.repoをダウンロードし、その中にあるmirrorlistの設定値をhttp://archive.cloudera.com/redhat/6/x86_64/cdh/3u2/mirrorsに変更してください。

UbuntuとDebianではStep1のTo add the CDH3 repositoryの項の手順に従ってcloudera.listファイルを作成し、その中にあるcdh3という文字列をcdh3u2に変更してください。

SUSEではhttp://archive.cloudera.com/sles/11/x86_64/cdh/cloudera-cdh3.repoにあるファイルをダウンロードし、その中にあるbaseurlの設定値をhttp://archive.cloudera.com/sles/11/x86_64/cdh/3u2/に変更してください。以下のコマンドを打ってパッケージ情報の更新を行ってください。
$ sudo zypper addrepo -f cloudera-cdh3.repo
$ sudo zypper refresh

どのOSでもStep2移行はClouderaのページにある通りに作業してください。また忘れずにOracle Javaをインストールして、そのJavaが使われるように設定してください。

既に CDH3u3 以上をインストールしている場合は、パッケージマネージャに CDH3u2 のインストールが不要と判断されインストールされないことがあります。そのときは既にインストールされているコンポーネントをアンインストールし、パッケージマネージャのキャッシュを削除し、再度 CDH3u2 をインストールしてください。パッケージマネージャのキャッシュが残っている場合には上手く CDH3u2 がインストールされないことがありますので注意してください。

内容を読んでいただくと分かると思いますが, CDH3u2 を指定してインストールするための手順が記述してあります.

調べた限りでは Cloudera のページに少し書いてある以外には, update number を指定したインストール方法のまとまった情報はありませんでした. なのでちょっと貴重な情報です(笑)

冗談はさておき開発で使うとなると OS やミドルウェアのバージョンは固定したくなるので, そういう場面で使える情報だと思っています. 特に Asakusa は CDH3 の対応バージョンを update number まで指定してあるので, CDH3 の最新バージョンに勝手にアップデートされないようにしておくと良いと思います.

それでは.

Hello world!

Welcome to WordPress.com. After you read this, you should delete and write your own post, with a new title above. Or hit Add New on the left (of the admin dashboard) to start a fresh post.

Here are some suggestions for your first post.

  1. You can find new ideas for what to blog about by reading the Daily Post.
  2. Add PressThis to your browser. It creates a new blog post for you about any interesting  page you read on the web.
  3. Make some changes to this page, and then hit preview on the right. You can always preview any post or edit it before you share it to the world.