TPC ベンチマーク結果

データベースシステムはますます専門化が進み、多くのアプリケーションが、特定のドメインにおける高度なワークロードの実行には優れているものの、汎用的なデータニーズには対応できない、ますます複雑化する製品のネットワークに依存しています。これに対し、私たちは、OLTPとOLAPの両方のワークロードにおいて世界クラスのパフォーマンスを備え、トランザクションワークロードと分析ワークロードの幅広い要件を満たすデータベースを設計できると考えています。そのデータベースがSingleStoreDBです。

SingleStoreDBは、世界最大級の金融、通信、ハイテク、エネルギー企業の厳しい本番環境ワークロードを実行しています。これらのお客様は、組織全体で幅広いワークロードを実行するためにSingleStoreDBを使用しており、多くの場合、2～3つの異なるデータベースをSingleStoreDBに置き換えています。

業界標準のOLAPおよびOLTPベンチマークであるTPC-HとTPC-Cの両方から得られた結果は、SingleStoreDBが最先端のパフォーマンスを実現することを実証しています。SingleStoreDBは、専門的なオペレーショナルデータベースやデータウェアハウスと同等のパフォーマンスを発揮します。両方のベンチマークをSingleStoreDBのUniversal Storageで実行した結果、SingleStoreDBが同一データベース、同一テーブルにおいて、世界最高クラスのトランザクション性能と分析性能を統合していることが実証されました。

ベンチマーク結果

業界標準のTPC-HおよびTPC-Cに基づくベンチマークを用いて、SingleStoreDBを他の主要なクラウドデータベースおよびデータウェアハウスと比較評価しました。その結果、SingleStoreDBがOLAPとOLTPの両方のベンチマークにおいて最先端のパフォーマンスを実現していることが示されました。

これらのベンチマークは、広く理解され比較しやすい業界標準のベンチマークにおいて、優れたパフォーマンスを示すための手段として実施しています。以前のブログ記事で述べたように、これらのベンチマークは、お客様が最新のワークロードに求める可能性のある機能のすべてを網羅しているわけではないと考えています。しかしながら、データベースシステム間のパフォーマンスを比較するための、現時点で業界で最も標準化された方法の一つであることは変わりません。また、契約からDeWitt条項が削除されたことで、SingleStoreはこれらのベンチマーク結果を完全に公開し、透明性を確保することに尽力しています。

SingleStoreDBを、他の3つの人気最先端製品と比較しました。2つのクラウドデータウェアハウス（CDW1とCDW2）と、クラウドオペレーショナルデータベース（CDB）です。まずは、TPC-HとTPC-Cの両方から得られた結果の概要から見ていきましょう。

TPC-HおよびTPC-Cベンチマーク標準から得られた結果の要約。TPC-H：スケールファクター10TB、コールドランタイム、低いほど良好。TPC-C：高いほど良好、上限は12.86 tpmC/ウェアハウス

結果が示すように、SingleStoreDB は、クラウド データ ウェアハウスと比較して分析において、また CDB と比較してトランザクションにおいて優れたパフォーマンスとコスト パフォーマンスを発揮しました。この比較の主なポイントは、SingleStoreDB が分析ワークロードとトランザクション ワークロードの両方で最先端のパフォーマンスを提供する一方で、CDW1、CDW2、CDB はどちらか一方のベンチマークでのみ良好に動作し、両方のベンチマークで良好に動作しないことを示すことです。CDW1 と CDW2 はデータ ウェアハウスのみをサポートしており、TPC-C ワークロードは実行できません。CDB は両方のベンチマークを実行できますが、TPC-H ではクラウド データ ウェアハウスよりも桁違いにパフォーマンスが低下します。さらに、CDB は OLTP ワークロードに対するスケーラビリティが限られており、以前の結果では、そのパフォーマンスはウェアハウスの数が大幅に増加すると良好に動作しないことが示されています。

このグラフは、TPC-CとTPC-Hの両方のパフォーマンスをまとめたものです。このグラフでは、TPC-Cのスループット（TPC-Cの定義によるtpmC）と、TPC-Hの1ドルあたりのクエリ数（100/幾何平均クエリコスト（セント）として計算）を示しています。数値が高いほど、性能が良いことを示します。

テスト方法

両方のベンチマークは、SingleStoreDBのUniversal Storageで実行しました。つまり、両方のベンチマークは同じ統合テーブルストレージを使用して実行されました。これはデフォルトの設定です（行ストアと列ストアのテーブルストレージを強制的に切り替えたわけではありません）。これは注目すべき点です。なぜなら、SingleStoreDBのUniversal Storageは、OLTPとOLAPの両方のワークロードにおいて最先端のパフォーマンスを提供できることが結果から示されているからです。

各ベンチマークに適したインデックス、ソートキー、シャードキーを使用し、これらのオプションが利用可能なすべての製品で同様のものを使用しました。SingleStoreDBのセットアップ手順、スキーマ、データ読み込みコマンド、クエリは、GitHubリポジトリに掲載しています。

ベンチマーク実行では、TPCのスキーマ、データ、クエリを使用しました。ただし、これらは公式TPCベンチマーク実行のすべての基準を満たしておらず、公式TPC結果ではありません。

2022 年 1 月に、各データベース ベンダーから入手可能な最新のソフトウェア バージョンとハードウェア インスタンス タイプでベンチマークを実行しました。SingleStoreDB の場合はバージョン 7.6.7 でした。

TPC-Hの結果

業界標準の OLAP ベンチマークである TPC-H (10 TB スケール ファクター) で、SingleStore DB のパフォーマンスを、2 つの一般的な最先端のデータ ウェアハウス CDW1 および CDW2 と比較して測定しました。

可能な限り価格が同程度になるようにクラスタサイズを選択したパブリッククラウドインスタンスで比較を行いました。使用したクラスタ構成のコストは付録に記載しています。

各クエリのコールドラン1回の実行時間を測定し、その後、結果のキャッシュを無効にした状態で、各クエリのウォームラン3回の平均実行時間を測定しました。ウォームランでは、クエリのコンパイルとデータのキャッシュが可能です。

各クエリのコストは、実行時間と製品構成の1秒あたりの価格を乗じて算出しました。その後、すべてのクエリにおける実行時間とコストの幾何平均を計算しました。

利用可能な最大サイズで運用データベース CDB をテストしたところ、パフォーマンスは桁違いに低下しました。ほとんどのクエリは 1 時間以内に完了せず、すべてのベンチマーク クエリを 1 回実行しても 24 時間以内に完了しませんでした (SingleStoreDB、CDW1、CDW2 の場合は約 15 分)。

以下のグラフに示す結果は、SingleStoreDBがTPC-Hベンチマークにおいて、最先端の専用クラウドデータウェアハウス2つと比較して競争力のあるパフォーマンスを達成していることを示しています。クエリごとの結果の内訳は付録に記載されています。

TPC-Cの結果

業界標準のOLTPベンチマークであるTPC-Cを用いて、SingleStoreDBと、広く普及している最先端のクラウドオペレーショナルデータベースであるCDBを比較しました。SingleStoreDBの結果はすべて、当社の列指向型Universal Storage上で測定され、行ストア型のオペレーショナルデータベースであるCDBと競合するものでした。比較は、vCPU数が一致するように選択されたクラスターサイズのパブリッククラウドインスタンスで実施しました。

クラウド データ ウェアハウス CDW1 および CDW2 は、TPC-C ベンチマークの実行をサポートしていないことにご注意ください。例えば、一意制約はデータ ウェアハウスではサポートされていないものの、SingleStoreDB ではサポートされている機能の 1 つです（一意制約は、Universal Storage を含むすべてのテーブル タイプでサポートされています）。CDW1 および CDW2 は、情報提供のみを目的としており、強制適用されない一意制約のみをサポートしています。つまり、これらのシステムでは制約の整合性を強制適用できず、クエリ プランナーへの情報ヒントとしてのみ使用されます。

TPC-Cベンチマークで定義されたスループット（tpmC）を測定し、CDBが以前に公開した結果と比較しました。TPC-Cではウェアハウスあたりの最大tpmCが12.86と規定されており、SingleStoreDBとCDBはどちらもデータサイズが1,000ウェアハウスでこの最大値に達していることに注意してください。

また、TPC-C上で10,000ウェアハウスのデータサイズでSingleStoreDBのパフォーマンスをテストしたところ、SingleStoreDBは優れたスケールアウト性能を示しました。TPC-Cのサイズが大きい場合のパフォーマンスは、SingleStoreDBのクラスターサイズをスケールアウトするにつれて直線的に向上しました。一方、CDBはOLTPワークロードにおけるスケーラビリティが限られており、過去の結果から、ウェアハウス数が大幅に増加するとパフォーマンスが十分に向上しないことが示されています。

TPC-C ベンチマーク パフォーマンス (高いほど良い、最大 12.86 tpmC/ウェアハウス)

結論

TPC-C と TPC-H の両方の結果から得られたパフォーマンスの概要を再度示します。

これらの結果は、SingleStoreDBが、各ワークロード固有のベンチマークにおいて、主要な運用データベースや分析データベースに匹敵する最先端のパフォーマンスを実現していることを示しています。SingleStoreDBは、これまで複数の専用データベースシステムを必要としていたワークロード要件を満たすことができます。

これらの結果をご自身で確認してみませんか？今すぐSingleStoreDBの無料トライアルをお試しください。SingleStoreDBでこれらのベンチマークをご自身で実行して実験してみたい方は、セットアップ手順、スキーマ、データ読み込みコマンド、クエリをGitHubリポジトリに掲載しています。

付録 — TPC-H 結果の内訳

測定した結果の詳細については、前のセクションを参照してください。

クエリごとの実行時間の詳細 (実行時間は秒単位):