論文の概要: Cost-Effective, Low Latency Vector Search with Azure Cosmos DB

• arxiv url: http://arxiv.org/abs/2505.05885v1
• Date: Fri, 09 May 2025 08:53:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 20:40:10.212308
• Title: Cost-Effective, Low Latency Vector Search with Azure Cosmos DB
• Title（参考訳）: Azure Cosmos DBによる低コスト低レイテンシベクトル探索
• Authors: Nitish Upreti, Krishnan Sundaram, Hari Sudan Sundar, Samer Boshra, Balachandar Perumalswamy, Shivam Atri, Martin Chisholm, Revti Raman Singh, Greg Yang, Subramanyam Pattipaka, Tamara Hass, Nitesh Dudhey, James Codella, Mark Hildebrand, Magdalen Manohar, Jack Moffitt, Haiyang Xu, Naren Datha, Suryansh Gupta, Ravishankar Krishnaswamy, Prashant Gupta, Abhishek Sahu, Ritika Mor, Santosh Kulkarni, Hemeswari Varada, Sudhanshu Barthwal, Amar Sagare, Dinesh Billa, Zishan Fu, Neil Deshpande, Shaun Cooper, Kevin Pilch, Simon Moreno, Aayush Kataria, Vipul Vishal, Harsha Vardhan Simhadri,
• Abstract要約: Azure Cosmos DBのようなクラウドネイティブな運用データベース内に,スケーラブルで高性能で費用効率の高いベクトル検索システムを構築することができる,と私たちは主張する。 このシステムは、既存のインデックスツリーに格納されたパーティション毎に単一のベクトルインデックスを使用し、基礎となるデータと同期する。 1000万のベクトルにまたがるインデックスよりも20msのクエリレイテンシをサポートし、更新のリコールが安定しており、DiskやPineconeのサーバレスエンタープライズ製品と比較して、クエリコストが約15倍と41倍低い。
• 参考スコア（独自算出の注目度）: 14.766278554685776
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Vector indexing enables semantic search over diverse corpora and has become an important interface to databases for both users and AI agents. Efficient vector search requires deep optimizations in database systems. This has motivated a new class of specialized vector databases that optimize for vector search quality and cost. Instead, we argue that a scalable, high-performance, and cost-efficient vector search system can be built inside a cloud-native operational database like Azure Cosmos DB while leveraging the benefits of a distributed database such as high availability, durability, and scale. We do this by deeply integrating DiskANN, a state-of-the-art vector indexing library, inside Azure Cosmos DB NoSQL. This system uses a single vector index per partition stored in existing index trees, and kept in sync with underlying data. It supports < 20ms query latency over an index spanning 10 million of vectors, has stable recall over updates, and offers nearly 15x and 41x lower query cost compared to Zilliz and Pinecone serverless enterprise products. It also scales out to billions of vectors via automatic partitioning. This convergent design presents a point in favor of integrating vector indices into operational databases in the context of recent debates on specialized vector databases, and offers a template for vector indexing in other databases.
• Abstract（参考訳）: ベクトルインデクシングは、さまざまなコーパスに対するセマンティック検索を可能にし、ユーザとAIエージェントの両方にとって、データベースの重要なインターフェースとなっている。 効率的なベクトル探索はデータベースシステムにおいて深い最適化を必要とする。 これは、ベクトル検索の品質とコストを最適化する、特別なベクトルデータベースの新たなクラスを動機付けている。 代わりに、高可用性、耐久性、スケールといった分散データベースのメリットを活用しながら、Azure Cosmos DBのようなクラウドネイティブな運用データベース内に、スケーラブルで高性能でコスト効率の高いベクトル検索システムを構築することができる、と私たちは主張する。 私たちはAzure Cosmos DB NoSQLに、最先端のベクトルインデックスライブラリであるDiskANNを深く統合することで、これを実現しています。 このシステムは、既存のインデックスツリーに格納されたパーティション毎に単一のベクトルインデックスを使用し、基礎となるデータと同期する。 1000万のベクトルにまたがるインデックスよりも20ミリ秒未満のクエリレイテンシをサポートし、更新のリコールが安定しており、ZillizやPineconeのサーバレスエンタープライズ製品と比較して、クエリコストが約15倍と41倍低い。 また、自動パーティショニングによって数十億のベクトルにスケールアウトする。 この収束設計は、最近の専門化されたベクトルデータベースに関する議論の文脈において、ベクトルインデックスを運用データベースに統合することに有利な点を示し、他のデータベースでのベクトルインデックス作成のためのテンプレートを提供する。

関連論文リスト

• MINT: Multi-Vector Search Index Tuning [11.309615417231498]
  レイテンシを最小化し、ストレージとリコールの制約を満たすインデックスを見つけるアルゴリズムを開発した。 ベースラインと比較して、レイテンシは2.1倍から8.3倍のスピードアップを達成した。
  論文  参考訳（メタデータ） (2025-04-28T17:36:06Z)
• SPFresh: Incremental In-Place Update for Billion-Scale Vector Search [19.245438083030006]
  位置ベクトル更新をサポートするシステムであるSPFreshを紹介する。 SPFreshの中心は軽量なインクリメンタルリバランシングプロトコルであるLIREである。 LIREでは,グローバルリビルドに基づくソリューションに対して,クエリレイテンシと精度が向上する。
  論文  参考訳（メタデータ） (2024-10-18T13:24:18Z)
• Operational Advice for Dense and Sparse Retrievers: HNSW, Flat, or Inverted Indexes? [62.57689536630933]
  本稿では,オープンソースのLucene検索ライブラリを用いたBEIRデータセットの実験結果について述べる。 本研究は,高密度かつ疎密なレトリバーの設計空間を理解するための,今日の検索実践者へのガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-09-10T12:46:23Z)
• Locally-Adaptive Quantization for Streaming Vector Search [1.151101202055732]
  高効率ベクトル圧縮法であるLocally-Adaptive Vector Quantization (LVQ)は、非進化データベースに対して最先端の探索性能を得る。 LVQの2つの改善点として,Turbo LVQとMulti-means LVQを導入し,検索性能を28%,27%向上させた。 我々の研究は、LVQとその新しい変種が高速ベクトル探索を可能にし、同じ分散データに対して、最も近い競合である9.4倍の性能を発揮することを示した。
  論文  参考訳（メタデータ） (2024-02-03T05:43:39Z)
• The Faiss library [54.589857872477445]
  Faissは、インデックス化手法と関連するプリミティブのツールキットで、ベクトルの検索、クラスタ化、圧縮、変換に使用される。 本稿では,ベクトル探索のトレードオフ空間とFaissの設計原理について,構造,最適化,インターフェースの観点から述べる。
  論文  参考訳（メタデータ） (2024-01-16T11:12:36Z)
• Curator: Efficient Indexing for Multi-Tenant Vector Databases [13.54470338115846]
  本稿では,マルチテナントクエリに適したインメモリベクトルインデックス設計であるCuratorを提案する。 Curatorはテナント固有のクラスタリングツリーで各テナントのベクトルをインデックスし、これらのツリーを共有クラスタリングツリーのサブツリーとしてコンパクトにエンコードする。 2つの広く使われているデータセットに基づいて評価を行った結果,Curator が検索性能をテナントごとのインデックス化に匹敵するものであることが確認された。
  論文  参考訳（メタデータ） (2024-01-13T17:08:09Z)
• LeanVec: Searching vectors faster by making them fit [1.0863382547662974]
  本稿では,高次元ベクトル上での類似性探索を高速化するために,線形次元減少とベクトル量子化を組み合わせたフレームワークLeanVecを提案する。 LeanVecは、検索のスループットを最大3.7倍改善し、インデックスビルド時間を最大4.9倍高速化する、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2023-12-26T21:14:59Z)
• IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
  分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。 クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。 我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
  論文  参考訳（メタデータ） (2021-03-17T23:13:25Z)
• The Case for Learned Spatial Indexes [62.88514422115702]
  我々は、空間範囲の問合せに答えるために、最先端の学習した多次元インデックス構造(すなわちFlood)から提案した手法を用いる。 i) パーティション内の機械学習検索は、1次元でフィルタリングを使用する場合の2進探索よりも11.79%速く、39.51%高速であることを示す。 また、2次元でフィルタする最も近い競合相手の1.23倍から1.83倍の速さで機械学習インデックスを精査する。
  論文  参考訳（メタデータ） (2020-08-24T12:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。