世の中のもやもやを「スッキリ」と!!

コンピュータ関係をつぶやきます。世の中の役に立つことを書いていきたいです。

DNA Nexusという米国ベンチャー(その1)

PacBioという次世代シーケンサーがある。特徴はリード長が600bpと長い配列長であること。
HiSeqと比べても長い配列のようだ。(どのような領域をターゲットにしている研究者がうれしいのかはわからない)

最近DNA Nexusという米国ベンチャーがあることを知った。PacBioの解析パイプラインAWSで使えるようにしているらしいニヤリ


日本語のブログ(パックマンの挑戦)

笠原さんのブログ記事(AGBT2015参加記(3): ロングリード時代の到来)

日本だとHiSeq旋風が吹き荒れているが、米国だとPacBioは結構トレンドなんだろうか。。実体験上はそんなことが起きているとは思えないけど。ガーン

falconってどんなパイプラインなんだろうか。
PacBio and DNAnexus Transform de novo Assembly
気になるが、すぐに全貌は分からない。

パイプラインを使うのにいくらかかるのか。世界は広いなぁ波

Dockerとは(その1)

今巷で噂になっているDockerについて調べてみた。

Paas Platform as a Service と Iaas Infrastructure as a Service の 中間のようだ。グー

所要時間わずか10分で「Docker」を体験しよう

コンテナでパッケージ化して、いろんなクラウドやオンプレミスに持ち運びができるというのは便利なんだけど、今まで物理サーバやVMwareの仮想サーバで作ってきてしまったものをDocker化できたりすると便利なんだけども。

 

そんなのはないのだろうか。ガクリ

Gitの新しいバージョンをインストールする(RHELに)

RHELのデフォルトのGitが古くてたまらない。

最新版は2.6.3のようだ。

https://git-scm.com/

Qiitaさんを検索してみたら、ソースからのコンパイルがちゃんと書いてあった。 http://qiita.com/asonas/items/ed7004f5a826ad1c2f26

すごいなQiitaさん。ちょっとやってみよう。

rsyncのシンボリックリンクをコピーするオプションを試してみる。

rsyncシンボリックリンクをコピーするオプションを試してみる。
 
rsync(Ver3.1.1、samba.rsyncソースからビルドしたもの)
 
[root@vbox01 /]# which rsync
/usr/local/bin/rsync
[root@vbox01 /]# rsync --version
rsync  version 3.1.1  protocol version 31
Copyright (C) 1996-2014 by Andrew Tridgell, Wayne Davison, and others.
Capabilities:
    64-bit files, 64-bit inums, 64-bit timestamps, 64-bit long ints,
    socketpairs, hardlinks, symlinks, IPv6, batchfiles, inplace,
    append, ACLs, xattrs, iconv, symtimes, prealloc
 
 
ディレクトリ構成
/ (ルートパーティション)
Ldata2―aaa(bbbへのSymbolic Link)
   ―bbb(実体)
   ―ccc(/data3/dddへのSymbolic Link)
Ldata3―ddd(実体)
   ―destdir(コピー先ディレクトリ
 
このような構成の場合
 
普通のarchiveモードだと
 
[root@vbox01 data3]# rsync -av /data2/aaa /data3/destdir
sending incremental file list
aaa -> bbb
 
sent 53 bytes  received 19 bytes  144.00 bytes/sec
total size is 3  speedup is 0.04
[root@vbox01 data3]# cd destdir/
[root@vbox01 destdir]# ll
合計 0
lrwxrwxrwx 1 root root 3 11月 29 20:40 2015 aaa -> bbb
 
シンボリックリンクデッドリンクとしてコピーされる。
 
[root@vbox01 destdir]# rsync -av --copy-links /data2/aaa /data3/destdir
sending incremental file list
aaa

sent 103 bytes  received 35 bytes  276.00 bytes/sec
total size is 14  speedup is 0.10
[root@vbox01 destdir]# ll
合計 4
-rw-r--r-- 1 root root 14 11月 29 20:40 2015 aaa
[root@vbox01 destdir]# more aaa
bbb file desu
 
実体の方がコピーできている。ファイル名はシンボリックリンクでつけていた名前のaaaとなる。
 
[root@vbox01 destdir]# rsync -av --safe-links /data2/aaa /data3/destdir
sending incremental file list
aaa -> bbb

sent 53 bytes  received 19 bytes  144.00 bytes/sec
total size is 3  speedup is 0.04
[root@vbox01 destdir]# ll
合計 0
lrwxrwxrwx 1 root root 3 11月 29 20:40 2015 aaa -> bbb
 
safe-linksだとシンボリックリンクデッドリンクでコピーされている。
 
[root@vbox01 destdir]# rsync -av --copy-unsafe-links /data2/aaa /data3/destdir
sending incremental file list

sent 46 bytes  received 12 bytes  116.00 bytes/sec
total size is 3  speedup is 0.05
[root@vbox01 destdir]# ll
合計 0
lrwxrwxrwx 1 root root 3 11月 29 20:40 2015 aaa -> bbb
 
--cpy-unsafe-linksだと何もコピーされない。(これは合っている気がする)
 
[root@vbox01 destdir]# rsync -av --keep-dirlinks /data2/aaa /data3/destdir
sending incremental file list

sent 46 bytes  received 12 bytes  116.00 bytes/sec
total size is 3  speedup is 0.05
 
これもあまり意味がないか。
 

省エネスパコン「菖蒲(PEZY)」について思うこと。本当に使えるスパコンなのか

今日の日経で出ていた記事
 
 
という記事を見て、今読んでいる本
 
の会社PEZY COMPUTINGが理研と共同で開発したスパコンということを知る。
 
HPC JAPANの2015年8月31日の記事でも菖蒲のことが載っている
「理研・PEZYグループ 菖蒲で勝負する?」 (結論だけ言うと、理研は菖蒲では勝負しない。ということ)
 
記事を読むと、菖蒲は理研とPEZYの共同研究で短期間に構築されたシステムである。
2015年4月スタートで、モノの3か月で結果を出してたとは、PEZYグループの実力、恐るべし
記事を見ると、ベンチマークを行うには理研の牧野先生が協力した模様。
LU分解コードをPEZY用に書き直して利用した、と書いてある。

牧野先生のブログ
「122. PEZY-SC と「睡蓮」(2014/11/21)」
 
菖蒲はPEZYが独自開発した512コアのプロセッサを搭載しているようだ。
このプロセッサはIntelアーキテクチャには準拠していない独自のプロセッサと思われる。
つまりコンパイラも独自ににある。
オープンソースでよく用いられるGCC(GNU C Compiler)でビルドしたものも、
Intel社がエクセル経由で日本で販売しているIntel Compilerでコンパイルしたプログラムは
菖蒲では使えない。
 
科学技術用のスパコンは、ユーザが開発したアプリを高密度に動かすことが大事になる。
気象、物質、流体のシミュレーションを行うプログラムをスパコンのCPUとメモリをぶん回して、
ぎっちぎっちに詰め込んで計算し続けるのがスパコンの主な用途になる。
今までメンテナンスしてきたプログラムを態々書き直すことになると、PEZYのプロセッサを使うよりも、NVIDIAGPUを使った方がまだ生産的な気がする。GPUはCUDAで書き直せば動く。
CUDAを書くことも技術者としては少しハードルがある。
 
菖蒲は日経の記事を見て興味を持ったが、コンパイラがPEZYからも提供されておらず
一般にはまだ全く使える代物ではない。そのようなものを日経が「京の250分の1の省エネスパコン」と銘打って大々的に記事にするとは少し時期尚早ではないかと思わされた