論文の概要: Cost-Effective, Low Latency Vector Search with Azure Cosmos DB
- arxiv url: http://arxiv.org/abs/2505.05885v2
- Date: Thu, 31 Jul 2025 20:41:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-04 18:08:53.514126
- Title: Cost-Effective, Low Latency Vector Search with Azure Cosmos DB
- Title（参考訳）: Azure Cosmos DBによる低コスト低レイテンシベクトル探索
- Authors: Nitish Upreti, Harsha Vardhan Simhadri, Hari Sudan Sundar, Krishnan Sundaram, Samer Boshra, Balachandar Perumalswamy, Shivam Atri, Martin Chisholm, Revti Raman Singh, Greg Yang, Tamara Hass, Nitesh Dudhey, Subramanyam Pattipaka, Mark Hildebrand, Magdalen Manohar, Jack Moffitt, Haiyang Xu, Naren Datha, Suryansh Gupta, Ravishankar Krishnaswamy, Prashant Gupta, Abhishek Sahu, Hemeswari Varada, Sudhanshu Barthwal, Ritika Mor, James Codella, Shaun Cooper, Kevin Pilch, Simon Moreno, Aayush Kataria, Santosh Kulkarni, Neil Deshpande, Amar Sagare, Dinesh Billa, Zishan Fu, Vipul Vishal,
- Abstract要約: Azure Cosmos DBのようなクラウドネイティブな運用データベース内に,スケーラブルで高性能で費用効率の高いベクトル検索システムを構築することができる,と私たちは主張する。
このシステムは、既存のインデックスツリーに格納されたパーティション毎に単一のベクトルインデックスを使用し、基礎となるデータと同期する。
1000万のベクトルにまたがるインデックス上で20msのクエリレイテンシをサポートし、更新のリコールが安定しており、PineconeやZil Diskのサーバレスエンタープライズ製品と比較して約43倍、12倍低いクエリコストが提供される。
- 参考スコア（独自算出の注目度）: 14.76627855468578
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Vector indexing enables semantic search over diverse corpora and has become an important interface to databases for both users and AI agents. Efficient vector search requires deep optimizations in database systems. This has motivated a new class of specialized vector databases that optimize for vector search quality and cost. Instead, we argue that a scalable, high-performance, and cost-efficient vector search system can be built inside a cloud-native operational database like Azure Cosmos DB while leveraging the benefits of a distributed database such as high availability, durability, and scale. We do this by deeply integrating DiskANN, a state-of-the-art vector indexing library, inside Azure Cosmos DB NoSQL. This system uses a single vector index per partition stored in existing index trees, and kept in sync with underlying data. It supports < 20ms query latency over an index spanning 10 million vectors, has stable recall over updates, and offers approximately 43x and 12x lower query cost compared to Pinecone and Zilliz serverless enterprise products. It also scales out to billions of vectors via automatic partitioning. This convergent design presents a point in favor of integrating vector indices into operational databases in the context of recent debates on specialized vector databases, and offers a template for vector indexing in other databases.
- Abstract（参考訳）: ベクトルインデクシングは、さまざまなコーパスに対するセマンティック検索を可能にし、ユーザとAIエージェントの両方にとって、データベースの重要なインターフェースとなっている。
効率的なベクトル探索はデータベースシステムにおいて深い最適化を必要とする。
これは、ベクトル検索の品質とコストを最適化する、特別なベクトルデータベースの新たなクラスを動機付けている。
代わりに、高可用性、耐久性、スケールといった分散データベースのメリットを活用しながら、Azure Cosmos DBのようなクラウドネイティブな運用データベース内に、スケーラブルで高性能でコスト効率の高いベクトル検索システムを構築することができる、と私たちは主張する。
私たちはAzure Cosmos DB NoSQLに、最先端のベクトルインデックスライブラリであるDiskANNを深く統合することで、これを実現しています。
このシステムは、既存のインデックスツリーに格納されたパーティション毎に単一のベクトルインデックスを使用し、基礎となるデータと同期する。
1000万のベクトルにまたがるインデックスよりも20ms未満のクエリレイテンシをサポートし、更新のリコールが安定しており、PineconeやZillizのサーバレスエンタープライズ製品と比較して約43倍、12倍低いクエリコストが提供される。
また、自動パーティショニングによって数十億のベクトルにスケールアウトする。
この収束設計は、最近の専門化されたベクトルデータベースに関する議論の文脈において、ベクトルインデックスを運用データベースに統合することに有利な点を示し、他のデータベースでのベクトルインデックス作成のためのテンプレートを提供する。
関連論文リスト
- LEANN: A Low-Storage Vector Index [70.13770593890655]
LEANNは、リソース制約されたパーソナルデバイスに最適化された、ストレージ効率の近い近接検索インデックスである。
評価の結果,LEANNは原データの5%以下までインデックスサイズを縮小し,標準インデックスの最大50倍のストレージを実現した。
論文 参考訳（メタデータ） (2025-06-09T22:43:30Z) - HAKES: Scalable Vector Database for Embedding Search Service [16.034584281180006]
我々は,並列な読み書きワークロード下で高いスループットと高いリコールを実現するベクトルデータベースを構築した。
我々のインデックスは、高リコール領域と同時読み書きワークロード下でインデックスベースラインより優れています。
nameysはスケーラブルで、ベースラインよりも最大16タイムで高いスループットを実現します。
論文 参考訳（メタデータ） (2025-05-18T19:26:29Z) - Bang for the Buck: Vector Search on Cloud CPUs [0.0]
クラウド上で利用可能なCPUマイクロアーキテクチャは,ベクトル探索のシナリオによって大きく異なる性能を示す。
例えばfloat32ベクトル上のIVFインデックスでは、AMDのZen4はIntelのSapphire Rapidsと比較して、毎秒約3倍のクエリ(QPS)を提供する。
私たちは、ベクターサーチシステムを展開する際に、ユーザに最高の"バン・フォー・ザ・ザ・ザ・ザ・ザ・ザ・ザ・ザ・イヤー"を得るよう指導したいと考えています。
論文 参考訳（メタデータ） (2025-05-12T14:44:21Z) - MINT: Multi-Vector Search Index Tuning [11.309615417231498]
レイテンシを最小化し、ストレージとリコールの制約を満たすインデックスを見つけるアルゴリズムを開発した。
ベースラインと比較して、レイテンシは2.1倍から8.3倍のスピードアップを達成した。
論文 参考訳（メタデータ） (2025-04-28T17:36:06Z) - SPFresh: Incremental In-Place Update for Billion-Scale Vector Search [19.245438083030006]
位置ベクトル更新をサポートするシステムであるSPFreshを紹介する。
SPFreshの中心は軽量なインクリメンタルリバランシングプロトコルであるLIREである。
LIREでは,グローバルリビルドに基づくソリューションに対して,クエリレイテンシと精度が向上する。
論文 参考訳（メタデータ） (2024-10-18T13:24:18Z) - Operational Advice for Dense and Sparse Retrievers: HNSW, Flat, or Inverted Indexes? [62.57689536630933]
本稿では,オープンソースのLucene検索ライブラリを用いたBEIRデータセットの実験結果について述べる。
本研究は,高密度かつ疎密なレトリバーの設計空間を理解するための,今日の検索実践者へのガイダンスを提供する。
論文 参考訳（メタデータ） (2024-09-10T12:46:23Z) - Locally-Adaptive Quantization for Streaming Vector Search [1.151101202055732]
高効率ベクトル圧縮法であるLocally-Adaptive Vector Quantization (LVQ)は、非進化データベースに対して最先端の探索性能を得る。
LVQの2つの改善点として,Turbo LVQとMulti-means LVQを導入し,検索性能を28%,27%向上させた。
我々の研究は、LVQとその新しい変種が高速ベクトル探索を可能にし、同じ分散データに対して、最も近い競合である9.4倍の性能を発揮することを示した。
論文 参考訳（メタデータ） (2024-02-03T05:43:39Z) - The Faiss library [54.589857872477445]
Faissは、インデックス化手法と関連するプリミティブのツールキットで、ベクトルの検索、クラスタ化、圧縮、変換に使用される。
本稿では,ベクトル探索のトレードオフ空間とFaissの設計原理について,構造,最適化,インターフェースの観点から述べる。
論文 参考訳（メタデータ） (2024-01-16T11:12:36Z) - Curator: Efficient Indexing for Multi-Tenant Vector Databases [13.54470338115846]
本稿では,マルチテナントクエリに適したインメモリベクトルインデックス設計であるCuratorを提案する。
Curatorはテナント固有のクラスタリングツリーで各テナントのベクトルをインデックスし、これらのツリーを共有クラスタリングツリーのサブツリーとしてコンパクトにエンコードする。
2つの広く使われているデータセットに基づいて評価を行った結果,Curator が検索性能をテナントごとのインデックス化に匹敵するものであることが確認された。
論文 参考訳（メタデータ） (2024-01-13T17:08:09Z) - LeanVec: Searching vectors faster by making them fit [1.0863382547662974]
本稿では,高次元ベクトル上での類似性探索を高速化するために,線形次元減少とベクトル量子化を組み合わせたフレームワークLeanVecを提案する。
LeanVecは、検索のスループットを最大3.7倍改善し、インデックスビルド時間を最大4.9倍高速化する、最先端の結果を生成する。
論文 参考訳（メタデータ） (2023-12-26T21:14:59Z) - Injecting Domain Adaptation with Learning-to-hash for Effective and
Efficient Zero-shot Dense Retrieval [49.98615945702959]
我々は,TAS-B高密度検索器の下流ゼロショット検索精度を向上させるためのLTHおよびベクトル圧縮技術を評価する。
以上の結果から, 従来の研究とは異なり, LTH法はゼロショットTAS-B高密度レトリバーを平均14%のnDCG@10で過小評価できることがわかった。
論文 参考訳（メタデータ） (2022-05-23T17:53:44Z) - IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。
クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。
我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
論文 参考訳（メタデータ） (2021-03-17T23:13:25Z) - The Case for Learned Spatial Indexes [62.88514422115702]
我々は、空間範囲の問合せに答えるために、最先端の学習した多次元インデックス構造(すなわちFlood)から提案した手法を用いる。
i) パーティション内の機械学習検索は、1次元でフィルタリングを使用する場合の2進探索よりも11.79%速く、39.51%高速であることを示す。
また、2次元でフィルタする最も近い競合相手の1.23倍から1.83倍の速さで機械学習インデックスを精査する。
論文 参考訳（メタデータ） (2020-08-24T12:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。