読者です 読者をやめる 読者になる 読者になる

Squashfs-LZMA

VIVER

Squashfsで圧縮アルゴリズムにLZMAを使うプロジェクトがあった。
http://www.squashfs-lzma.org/


パッチの作者は日本人の方である模様。
aufsの作者と同一人物?
http://aufs.sourceforge.net/



ところでこのパッチをVIVERに使うか否かですが、かなり微妙。

まず1対1で通信する場合は、Gigabit Ethernetがあまりに速くて、圧縮ディスクイメージの展開速度が追い付かない。実際にCPUにかかる負荷はTCPパケットの処理+LZMAの展開なので、CPU忙しすぎ。実際zlibでもGigabit Ethernetだと逆に遅くなっている。RDMAとハードウェアLZMAチップがあれば完璧なんだけどなぁ。GPULZMAを展開するとか?
むしろlzoくらいの方が良いんじゃないかと考えていたところ。それからLZMAは圧縮がとっても遅いので、開発用には疲れる。


でもマシン台数が増えると転送速度が遅くなるので、圧縮率の高さが利点になってくる。トラフィックが削減されるので、マシン台数が増えてもIO性能が下がりにくくなる。ブートメディアの容量削減にもなるし、ディスクキャッシュも効きやすくなる。(ただしディスクキャッシュからの展開は遅くなる)


というわけで、たぶんマシン台数が多いときはLZMAの方が有利になる。閾値がどのあたりかは不明。