GLAN TANK二日目 - Blog by Sadayuki Furuhashi

NFS4のマウントがうまくいかない。NFS v3でマウントした後にv4でマウントするとうまくいく。意味不明。

ベンチマークテストをしてみたくなったので、してみました。

bonnie++というツールでIO性能が測れるらしいです。

まずはいつものMyマシンから。HDD4台でRAID10を組んでいるので、かなり速いはず。Maxtor HDD 160GB ×4 -> Serial ATA I -> nForce4 SLI -> Linux 2.6.15.1 -> ソフトウェアRAID10 -> XFS(ファイルシステム)

Writing with putc()...done
Writing intelligently...done
Rewriting...done
Reading with getc()...done
Reading intelligently...done
start 'em...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
vcore            2G 50592  92 129493  33 19154  16 19083  74 77560  47 255.1   2
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16  4443  74 +++++ +++  3802  56  4907  66 +++++ +++  2231  34
vcore,2G,50592,92,129493,33,19154,16,19083,74,77560,47,255.1,2,16,4443,74,+++++,+++,3802,56,4907,66,+++++,+++,2231,34

結果の見方がよくわからない…orz シーケンシャルライトが130MB/s、シーケンシャルリードが77.5MB/s？ぬぬ…。わからん…。

まぁ良い。次に、NFSでマウントしたGLAN TANKのディスク。ネットワーク性能も絡む。Maxtor HDD 300GB ×2 -> IDE -> XScale IOP 400MHz -> Linux 2.6.10 -> ソフトウェアRAID 1 -> ext3 -> Intel PRO/1000-> カテゴリ6ケーブル -> nForce4 SLI NIC (1000BASE-T) -> Linux 2.6.15.1 -> NFS v3

Writing with putc()...done
Writing intelligently...done
Rewriting...done
Reading with getc()...done
Reading intelligently...done
start 'em...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
vcore            2G  7941  18  9026   2  5102   4 16804  37 17485   3 115.7   2
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16   135   3  1622  18   437  12   135   3  1448  15   258   7
vcore,2G,7941,18,9026,2,5102,4,16804,37,17485,3,115.7,2,16,135,3,1622,18,437,12,135,3,1448,15,258,7

マウントオプションに rsize=8192,wsize=8192 を忘れていた…orz。シーケンシャルライトが9MB/s、シーケンシャルリードが17MB/s…かな…。リードの方が速い。

上記条件で、JumboFrameを有効にしてみる。GLAN TANKの方はMTU 16KBまで対応しているのに、nForce4 SLIの方は9KBまでしか対応してない。
rsizeとwsizeも付ける。8192じゃ面白くないので、rsize=32768,wsize=32768 にしてみた。RedHat Linux EL4のオンラインマニュアルに載っていた数値（rsize,wsizeだけで結構違いが出そうな…）

vcore# ifconfig eth1 mtu 9000
GLANTANK# ifconfig eth0 mtu 9000

Writing with putc()...done
Writing intelligently...done
Rewriting...done
Reading with getc()...done
Reading intelligently...done
start 'em...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
vcore            2G  8760  22 10194   3  5145   5 20557  44 18563   3 115.8   1
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16   132   3  1302  15   390  12   133   3  1553  17   237   7
vcore,2G,8760,22,10194,3,5145,5,20557,44,18563,3,115.8,1,16,132,3,1302,15,390,12,133,3,1553,17,237,7

シーケンシャルライトが10MB/s、シーケンシャルリードが18.5MB/s…だろうか…。JumboFrame + rsize=32768,wsize=32768 の方が速いということは確か。でも、そんなに変わらない。

本日の本題。JumboFrame有効に加え、NFS4にしてみる。

Writing with putc()...done
Writing intelligently...done
Rewriting...done
Reading with getc()...done
Reading intelligently...done
start 'em...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
vcore            2G  8826  20 10030   3  4067   6 19938  42 17570   3 118.2   1
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16   109   5  1310  10   347  10   110   5  1269  14   226   8
vcore,2G,8826,20,10030,3,4067,6,19938,42,17570,3,118.2,1,16,109,5,1310,10,347,10,110,5,1269,14,226,8

シーケンシャルライトが10MB/s、シーケンシャルリードが17.5MB/s…かもしれない。NFS v3といっしょだな…。

結論：NFS4、そんなに速くない。

やっぱりNBD＋GFSか…それは無いな。

Treasure Data MessagePack Embulk Fluentd @twitter