virtualization.info 日本語

どれだけ一生懸命探しても「Citrix XenServer」対「Microsoft Hyper-V」対「VMware ESX」のパフォーマンス比較を見つけることはほぼ不可能だろう。
VMware End User License Agreement（EULA）には、採用された手法の審査と承認が終わるまで第三者によるパフォーマンステストはいかなるものも認めないという具体的な記述がある。

（2006年6月以前の状況はさらに悪く、VMware社はベンチマーク比較の公開を一切認めていなかった。）

これらの条件においては、VMware社がパフォーマンスで競合各社の後塵を拝するようなベンチマークが登場する可能性はない。

にもかかわらず、Virtualization Review社の勇敢なレポーターたちは先週、VMware社に挑戦状をたたきつけ、無許可で独自分析を公開した。

テスト結果の有効性とテスト環境を保証するため、Virtualization Reviewではテストプランの策定と認証にStuart Yarost氏の支援を仰いだ。Yarost氏はソフトウェアおよび品質管理の両分野で22年以上の経験を持つ「ASQ Certified Software Quality Engineer」であり、「Certified Quality Engineer」でもある。Yarost氏は現在、ASQ Software Divisionの副会長を務めている。

その結果は非常に興味深いものとなった。

• テストでは、Hyper-Vがすべてのカテゴリーで優秀な結果を出した。この市場において真に存続可能な競合製品となっている。
• XenServerのテスト結果は見事だが、現行のハイパーバイザーに代わるだけの十分な価値はあるのだろうか？大量のCPU／メモリ要件の高いワークロードのある仮想化システム環境では優れた選択肢かもしれない。気をつけなければならないが、高負荷I/Oは優れた仮想化候補とはならないため、一部の管理者は本能的にこれらのワークロードを物理システムにまかせるかもしれない。ただし、XenServerが非常に健闘し、素晴らしい数字を残したことは間違いない。
• 最初の高負荷ワークロードの2つのテストでは、VMwareがXenServerとHyper-Vに後れを取っている。3つ目の軽いワークロードではどのプラットフォームもほとんど差がなかったが、ESXが4つのカテゴリー中3つで最高の結果を出している。

容易に推測できることだが、VMware社はこれに不満を抱き、3月12日に企業ブログのVirtual Realityに「仮想化ベンチマークの大きな後退」という書き込みを行ってVirtualization Reviewを厳しく非難した。

同社は以下のようにかなりの数の異論を唱えている。

• ESXがHyper-Vより多くのCPU、メモリ、およびディスク処理を完了している事実は、SQL Serverよりもむしろこれらのコンポーネントにサイクルが使われていることを意味するのは言うまでもない。  ハイパーバイザーがスケジューリングを行う場合、リソースはどちらの方に向けるのが正しいだろうか？  結果の詳細が十分に分からないため判断するのは不可能だ。
• 仮想／ネイティブ環境のリソースに対する要求の高いSQL Serversはどれも有効になっているページが大きい。  ESXはこのような動作をサポートしているが、ほかのハイパーバイザーはどれもサポートしていない。  このテストでは重要なアプリケーションやOSの機能を利用しなかった。
• パーティションのアラインメントに対するデータ配置の影響が計画されていなかった。  VMware社は、この見落としの影響が場合によってはかなり大きくなることを文書化している。
• ディスクテストは、ゲストOSのテストファイルを用いるPassmarkの負荷生成をベースにしている。  しかし、このテストではそのファイルの配置とディスクシステムに対するアラインメントがコントロールされていない。
• SQL Serverのワークロードは特殊で、詳細も特徴も分からず、業界のだれにも理解できないものだ。結果的に、メモリ、CPU、ネットワーク、そしてストレージの変更に対する感度が全く不明で、実施者による文書での解説もない。  ハイパーバイザー用には多数の業界標準ベンチマークがあり、今は特殊なベンチマークテストの時代ではない。  仮想マシンもTPC、SPECweb、そしてSPECjbbといったユーザが認知および理解している共通のベンチマークを問題なく実行できる。　  さらには、仮想化プラットフォームの標準測定基準として全主要サーバベンダーに採用されており、ハイパーバイザーのパフォーマンスを幅広くテストする「VMmark」というより優れたテストや、SPECが開発を進める同種の「SPECvirtベンチマーク」もある。
• 数百台のディスクで10万IOPS以上というESXが既に記録しているストレージスループットの最高値を見れば、説明はないものの、この実験がおそらくかなり少ないスピンドル数で実施されたためにストレージシステムのボトルネックが生じたことは言うまでもない。それでもストレージのパフォーマンス結果は差が非常に大きく、コンフィギュレーションに矛盾があることは明らかだ。

VMware社はこの分析が未審査かつ未承認であること、そしてこのようなことがあるためにEULAの制限が外せないことを強調している。
そして同社は、このベンチマークの欠点を確実に周知させるべく13日朝にチャネル全体に警告を出してきた。

一方、ほかのベンダー2社の反応はどうだったのだろうか？

Citrix社は今のところコメントを出しておらず、Microsoft社は企業ブログにリンクを張ってこの調査を認証した。
このベンチマーク中のHyper-Vの数値を弁護したいなら、今度は彼らがVMware社の誤りを示す理由を説明した対抗分析を用意すべきだろう。

ラベル: Benchmarks, Citrix, Microsoft, VMware