[dennou-ruby:000835] Re: 地球電脳の概要について

[Takeshi Horinouchi <horinout@xxxxxx>]

ごとけんさん、皆様
(cc まつもとさん)

堀之内です。

> 突発性難聴というものにかかり、

直って良かったですね。予後をお大事に。
情報も有難うございます。ピンときたら病院に行くようにします。

>   先週デンマークでDave Thomasらと会ってきたのですが、彼は地球
>   電脳倶楽部のテラバイト級データの扱いについて関心をもったよう
>   で、来週のNASAでのプレゼンで紹介したいと言ってました。

あの Programming Ruby の作者に紹介されるとしたら、素晴らしい
です。林さんもコメントされてるようにテラバイト級のデータの
扱いというのは、具体性のない希望の段階ですが、現有のまだまだ
貧弱な資源について、英語のドキュメントは作りはじめました。
（というかまだ英語しかない）。ほんとに作り始めたばかりなんで、
全くなってないので恥ずかしいのですが ^^;

  http://www.gfd-dennou.org/arch/ruby

が入り口です。データハンドリングという点に関しては、リリース
目前の netcdf インターフェースに関し、密かにページを作り始
めました:

  http://www.gfd-dennou.org/arch/ruby/product/netcdf


現時点では要するにバイナリ―のファイルが比較的効率良く扱えるよう
になりつつあるというだけで、まあ現実問題気楽に扱えるのは計算機の
メモリーに無理なく乗る量までと言ったところです。そこから GB 級ま
では無理なく行けそうですが(必要な処理を自動分割して一辺にファイ
ルを読み込まないようにするとか)、TB 級データを上手にとなると 
ruby に限らず、どんな言語においても私自身はノウハウを知りません。
従って識者の協力は最低限必要でしょう。豊田さんは TB 級データを扱っ
てるところに居ますから、ひょっとして何かイメージをお持ちかも。
芦野さんにはご無沙汰しており済みません。まだ具体的な何かがあるわ
けではないですが、やはり一度早めの段階で並列計算専門の方に会わせ
て頂くのがいいように思います。

ところで、Thomas さんには私と直接やりとりして貰いましょうか。延々
日本語で書いてしまいましたが、これを転送しても困るわけですよね。
ただ、今週末から海外出張で来週は email が使えるかどうか不明で、
しかもその前にやることが沢山あるのですが...。

しのごの言う前に英語でちょっくら書けばいいんですね。
以下、Thomas さんあてメッセージです。送って下さい。

堀之内 武                    horinout@xxxxxx
京都大学宙空電波科学研究センター     611-0011 宇治市五ヶ庄

----------------------------------------------------
Dear Dr. Thomas,

I overheard that you are interested in handling of tera-byte
data with ruby at the GFD Dennou Club. Data in the earth and
planetary sciences are glowing explosively, and we are certainly
interested in effective and easy ways to handle them. We have
recently started a project to develop software libraries for
ruby to handle (i.e, analyze, visualize etc) data in these
sciences. However, I should first confess that our current
status is far from handling data on the order of terabytes,
though we hope to move toward that in the future by getting
helps from experts on this issue (I'm not one).

The URL of the project's page is

  http://www.gfd-dennou.org/arch/ruby/

Excuse us for the page being poor at this moment. Writing the
page was just started. All the documents there are written
within the last one week by myself.

As for data handling, we will be soon releasing an interface to
the NetCDF library, whose sneak preview is found at
http://www.gfd-dennou.org/arch/ruby/products/netcdf/. 
NetCDF (http://www.unidata.ucar.edu/packages/netcdf/) is a
binary file format, which enables us to create a
self-descriptive dataset (by self-descriptive, we mean that the
dataset can tell everything to handle it without any additional
documents). The library is made to work with the
multi-dimensional numeric array class NArray, which holds a
numeric array of uniform type in a C pointer.  NetCDF, as well
as HDF4 which is conceptually very similar to NetCDF, is widely
used to archive and distribute gridded atmospheric (and oceanic,
inter-planetary an so on) data.

Although the library of NetCDF is not particularly friendly to
parallel processing, HDF4 (http://hdf.ncsa.uiuc.edu/) is
supposed to be to some extent. We will next make a wrapper of
HDF4. We should probably support HDF5 furthermore. HDF5 is
better for parallel computing, but at this moment I am not
familiar with it. Meantime, I recently heard that MPI is now
available with ruby, so I imagine that to combine it with NArray 
could facilitate large computing.

All of the libraries mentioned above do exist for C users.
Thus, we are so far just trying to catch up (well, not exactly,
because we are cheating by wrapping, but of course the fact that
it is easy to wrap C functions is one of the most attractive
features of ruby). Our strategy is to wrap anything needed to
start up. Once wrapping is finished, a wonderful world, where
further development is made easy, will be waiting for us, that
is, programming with Ruby.

I will be on travel from this weekend, and I am not sure whether
I will have email access next week, but please let me know if
you have any questions or comments.

Best regards,

Takeshi

Takeshi Horinouchi  --  horinout@xxxxxx
Radio Science Center for Space and Atmosphere (RASC)
Kyoto Univ., Uji, 611-0011, Japan