論文の概要: Bang for the Buck: Vector Search on Cloud CPUs
- arxiv url: http://arxiv.org/abs/2505.07621v1
- Date: Mon, 12 May 2025 14:44:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-13 20:21:49.43926
- Title: Bang for the Buck: Vector Search on Cloud CPUs
- Title(参考訳): Bang for the Buck: クラウドCPU上のベクトル検索
- Authors: Leonardo Kuffo, Peter Boncz,
- Abstract要約: クラウド上で利用可能なCPUマイクロアーキテクチャは,ベクトル探索のシナリオによって大きく異なる性能を示す。
例えばfloat32ベクトル上のIVFインデックスでは、AMDのZen4はIntelのSapphire Rapidsと比較して、毎秒約3倍のクエリ(QPS)を提供する。
私たちは、ベクターサーチシステムを展開する際に、ユーザに最高の"バン・フォー・ザ・ザ・ザ・ザ・ザ・ザ・ザ・ザ・イヤー"を得るよう指導したいと考えています。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vector databases have emerged as a new type of systems that support efficient querying of high-dimensional vectors. Many of these offer their database as a service in the cloud. However, the variety of available CPUs and the lack of vector search benchmarks across CPUs make it difficult for users to choose one. In this study, we show that CPU microarchitectures available in the cloud perform significantly differently across vector search scenarios. For instance, in an IVF index on float32 vectors, AMD's Zen4 gives almost 3x more queries per second (QPS) compared to Intel's Sapphire Rapids, but for HNSW indexes, the tables turn. However, when looking at the number of queries per dollar (QP$), Graviton3 is the best option for most indexes and quantization settings, even over Graviton4 (Table 1). With this work, we hope to guide users in getting the best "bang for the buck" when deploying vector search systems.
- Abstract(参考訳): ベクトルデータベースは、高次元ベクトルの効率的なクエリをサポートする新しいタイプのシステムとして登場した。
それらの多くは、クラウド上のサービスとしてデータベースを提供している。
しかし、利用可能なCPUの多種多様さとCPU間のベクトル検索ベンチマークの欠如により、ユーザはそれを選択できない。
本研究では,クラウド上で利用可能なCPUマイクロアーキテクチャが,ベクトル探索のシナリオによって大きく異なる性能を示すことを示す。
例えばfloat32ベクトル上のIVFインデックスでは、AMDのZen4はIntelのSapphire Rapidsと比較して1秒あたり約3倍のクエリ(QPS)を提供するが、HNSWインデックスではテーブルが回転する。
しかし、1ドルあたりのクエリ数(QP$)を見ると、Graviton3は、ほとんどのインデックスや量子化設定において、Graviton4(Table 1)よりも優れた選択肢です。
この作業では、ベクターサーチシステムのデプロイ時に、ユーザに最高の"バン・フォー・ザ・ザ・ザ・ザ・ザ・バウンド"を得るように指導したいと思っています。
関連論文リスト
- Cost-Effective, Low Latency Vector Search with Azure Cosmos DB [14.766278554685776]
Azure Cosmos DBのようなクラウドネイティブな運用データベース内に,スケーラブルで高性能で費用効率の高いベクトル検索システムを構築することができる,と私たちは主張する。
このシステムは、既存のインデックスツリーに格納されたパーティション毎に単一のベクトルインデックスを使用し、基礎となるデータと同期する。
1000万のベクトルにまたがるインデックスよりも20msのクエリレイテンシをサポートし、更新のリコールが安定しており、DiskやPineconeのサーバレスエンタープライズ製品と比較して、クエリコストが約15倍と41倍低い。
論文 参考訳(メタデータ) (2025-05-09T08:53:59Z) - MINT: Multi-Vector Search Index Tuning [11.309615417231498]
レイテンシを最小化し、ストレージとリコールの制約を満たすインデックスを見つけるアルゴリズムを開発した。
ベースラインと比較して、レイテンシは2.1倍から8.3倍のスピードアップを達成した。
論文 参考訳(メタデータ) (2025-04-28T17:36:06Z) - Lossless Compression of Vector IDs for Approximate Nearest Neighbor Search [11.938555573590964]
インデックスのサイズを減らすために、ロスシー圧縮が広く適用されている。
逆ファイルとグラフベースのインデックスでは、ベクトルIDやリンクなどの補助データはほとんどのストレージコストを表すことができる。
いくつかのデータセットに対して、これらの手法は量子化されたベクトルコードも無害に圧縮できることを示す。
論文 参考訳(メタデータ) (2025-01-16T20:45:11Z) - Operational Advice for Dense and Sparse Retrievers: HNSW, Flat, or Inverted Indexes? [62.57689536630933]
本稿では,オープンソースのLucene検索ライブラリを用いたBEIRデータセットの実験結果について述べる。
本研究は,高密度かつ疎密なレトリバーの設計空間を理解するための,今日の検索実践者へのガイダンスを提供する。
論文 参考訳(メタデータ) (2024-09-10T12:46:23Z) - Locally-Adaptive Quantization for Streaming Vector Search [1.151101202055732]
高効率ベクトル圧縮法であるLocally-Adaptive Vector Quantization (LVQ)は、非進化データベースに対して最先端の探索性能を得る。
LVQの2つの改善点として,Turbo LVQとMulti-means LVQを導入し,検索性能を28%,27%向上させた。
我々の研究は、LVQとその新しい変種が高速ベクトル探索を可能にし、同じ分散データに対して、最も近い競合である9.4倍の性能を発揮することを示した。
論文 参考訳(メタデータ) (2024-02-03T05:43:39Z) - The Faiss library [54.589857872477445]
Faissは、インデックス化手法と関連するプリミティブのツールキットで、ベクトルの検索、クラスタ化、圧縮、変換に使用される。
本稿では,ベクトル探索のトレードオフ空間とFaissの設計原理について,構造,最適化,インターフェースの観点から述べる。
論文 参考訳(メタデータ) (2024-01-16T11:12:36Z) - LeanVec: Searching vectors faster by making them fit [1.0863382547662974]
本稿では,高次元ベクトル上での類似性探索を高速化するために,線形次元減少とベクトル量子化を組み合わせたフレームワークLeanVecを提案する。
LeanVecは、検索のスループットを最大3.7倍改善し、インデックスビルド時間を最大4.9倍高速化する、最先端の結果を生成する。
論文 参考訳(メタデータ) (2023-12-26T21:14:59Z) - PLSSVM: A (multi-)GPGPU-accelerated Least Squares Support Vector Machine [68.8204255655161]
Support Vector Machines (SVM) は機械学習で広く使われている。
しかし、現代的で最適化された実装でさえ、最先端ハードウェア上の大きな非自明な高密度データセットにはうまくスケールしない。
PLSSVMはLVMのドロップイン代替として使用できる。
論文 参考訳(メタデータ) (2022-02-25T13:24:23Z) - The Case for Learned Spatial Indexes [62.88514422115702]
我々は、空間範囲の問合せに答えるために、最先端の学習した多次元インデックス構造(すなわちFlood)から提案した手法を用いる。
i) パーティション内の機械学習検索は、1次元でフィルタリングを使用する場合の2進探索よりも11.79%速く、39.51%高速であることを示す。
また、2次元でフィルタする最も近い競合相手の1.23倍から1.83倍の速さで機械学習インデックスを精査する。
論文 参考訳(メタデータ) (2020-08-24T12:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。