論文の概要: HAKES: Scalable Vector Database for Embedding Search Service

• arxiv url: http://arxiv.org/abs/2505.12524v1
• Date: Sun, 18 May 2025 19:26:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.284375
• Title: HAKES: Scalable Vector Database for Embedding Search Service
• Title（参考訳）: HAKES: 検索サービスを組み込むためのスケーラブルなベクトルデータベース
• Authors: Guoyu Hu, Shaofeng Cai, Tien Tuan Anh Dinh, Zhongle Xie, Cong Yue, Gang Chen, Beng Chin Ooi,
• Abstract要約: 我々は,並列な読み書きワークロード下で高いスループットと高いリコールを実現するベクトルデータベースを構築した。 我々のインデックスは、高リコール領域と同時読み書きワークロード下でインデックスベースラインより優れています。 nameysはスケーラブルで、ベースラインよりも最大16タイムで高いスループットを実現します。
• 参考スコア（独自算出の注目度）: 16.034584281180006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern deep learning models capture the semantics of complex data by transforming them into high-dimensional embedding vectors. Emerging applications, such as retrieval-augmented generation, use approximate nearest neighbor (ANN) search in the embedding vector space to find similar data. Existing vector databases provide indexes for efficient ANN searches, with graph-based indexes being the most popular due to their low latency and high recall in real-world high-dimensional datasets. However, these indexes are costly to build, suffer from significant contention under concurrent read-write workloads, and scale poorly to multiple servers. Our goal is to build a vector database that achieves high throughput and high recall under concurrent read-write workloads. To this end, we first propose an ANN index with an explicit two-stage design combining a fast filter stage with highly compressed vectors and a refine stage to ensure recall, and we devise a novel lightweight machine learning technique to fine-tune the index parameters. We introduce an early termination check to dynamically adapt the search process for each query. Next, we add support for writes while maintaining search performance by decoupling the management of the learned parameters. Finally, we design HAKES, a distributed vector database that serves the new index in a disaggregated architecture. We evaluate our index and system against 12 state-of-the-art indexes and three distributed vector databases, using high-dimensional embedding datasets generated by deep learning models. The experimental results show that our index outperforms index baselines in the high recall region and under concurrent read-write workloads. Furthermore, \namesys{} is scalable and achieves up to $16\times$ higher throughputs than the baselines. The HAKES project is open-sourced at https://www.comp.nus.edu.sg/~dbsystem/hakes/.
• Abstract（参考訳）: 現代のディープラーニングモデルは、それらを高次元の埋め込みベクトルに変換することによって、複雑なデータのセマンティクスをキャプチャする。 検索拡張生成のような新興アプリケーションは、埋め込みベクトル空間における近接近傍探索(ANN)を用いて類似したデータを見つける。 既存のベクトルデータベースは、効率的なANN検索のためのインデックスを提供するが、グラフベースのインデックスは、低レイテンシと実世界の高次元データセットのハイリコールのために最も人気がある。 しかしながら、これらのインデックスはビルドにコストがかかり、同時読み込みのワークロードでは大きな競合に悩まされ、複数のサーバに低スケールである。 私たちのゴールは、同時読み書きワークロード下で高いスループットと高いリコールを実現するベクトルデータベースを構築することです。 そこで我々はまず,高速フィルタ段と高度に圧縮されたベクトルと精巧な段を組み合わせた2段階設計のANNインデックスを提案し,そのパラメータを微調整する新しい軽量機械学習手法を考案した。 クエリ毎の検索プロセスを動的に適応させるために,早期終了チェックを導入する。 次に、学習パラメータの管理を分離することで、検索性能を維持しながら書き込みのサポートを追加します。 最後に,分散ベクトルデータベースであるHAKESを設計する。 ディープラーニングモデルにより生成された高次元埋め込みデータセットを用いて,12の最先端インデックスと3つの分散ベクトルデータベースに対して,我々のインデックスとシステムを評価する。 実験の結果,インデックスは高いリコール領域と同時読み書きワークロードにおいて,インデックスベースラインよりも優れていた。 さらに、‘namesys{}’はスケーラブルで、ベースラインよりも最大16\times$高いスループットを実現している。 HAKESプロジェクトはhttps://www.comp.nus.edu.sg/~dbsystem/hakes/でオープンソース化されている。

関連論文リスト

• Cost-Effective, Low Latency Vector Search with Azure Cosmos DB [14.766278554685776]
  Azure Cosmos DBのようなクラウドネイティブな運用データベース内に,スケーラブルで高性能で費用効率の高いベクトル検索システムを構築することができる,と私たちは主張する。 このシステムは、既存のインデックスツリーに格納されたパーティション毎に単一のベクトルインデックスを使用し、基礎となるデータと同期する。 1000万のベクトルにまたがるインデックスよりも20msのクエリレイテンシをサポートし、更新のリコールが安定しており、DiskやPineconeのサーバレスエンタープライズ製品と比較して、クエリコストが約15倍と41倍低い。
  論文  参考訳（メタデータ） (2025-05-09T08:53:59Z)
• Operational Advice for Dense and Sparse Retrievers: HNSW, Flat, or Inverted Indexes? [62.57689536630933]
  本稿では,オープンソースのLucene検索ライブラリを用いたBEIRデータセットの実験結果について述べる。 本研究は,高密度かつ疎密なレトリバーの設計空間を理解するための,今日の検索実践者へのガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-09-10T12:46:23Z)
• Semi-Parametric Retrieval via Binary Bag-of-Tokens Index [71.78109794895065]
  SemI-parametric Disentangled Retrieval (SiDR)は、ニューラルパラメータから検索インデックスを分離するバイエンコーダ検索フレームワークである。 SiDRは、検索のための非パラメトリックトークン化インデックスをサポートし、BM25のようなインデックス化の複雑さを著しく改善した。
  論文  参考訳（メタデータ） (2024-05-03T08:34:13Z)
• LeanVec: Searching vectors faster by making them fit [1.0863382547662974]
  本稿では,高次元ベクトル上での類似性探索を高速化するために,線形次元減少とベクトル量子化を組み合わせたフレームワークLeanVecを提案する。 LeanVecは、検索のスループットを最大3.7倍改善し、インデックスビルド時間を最大4.9倍高速化する、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2023-12-26T21:14:59Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• A Learned Index for Exact Similarity Search in Metric Spaces [25.330353637669386]
  LIMSは、学習したインデックスを構築するために、データクラスタリングとピボットベースのデータ変換技術を使用することが提案されている。 機械学習モデルはディスク上の各データレコードの位置を近似するために開発された。 実世界のデータセットと合成データセットに関する大規模な実験は、従来の指標と比較してLIMSの優位性を示している。
  論文  参考訳（メタデータ） (2022-04-21T11:24:55Z)
• IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
  分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。 クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。 我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
  論文  参考訳（メタデータ） (2021-03-17T23:13:25Z)
• The Case for Learned Spatial Indexes [62.88514422115702]
  我々は、空間範囲の問合せに答えるために、最先端の学習した多次元インデックス構造(すなわちFlood)から提案した手法を用いる。 i) パーティション内の機械学習検索は、1次元でフィルタリングを使用する場合の2進探索よりも11.79%速く、39.51%高速であることを示す。 また、2次元でフィルタする最も近い競合相手の1.23倍から1.83倍の速さで機械学習インデックスを精査する。
  論文  参考訳（メタデータ） (2020-08-24T12:09:55Z)
• RadixSpline: A Single-Pass Learned Index [84.84747738666263]
  RadixSpline(RS)は、データに1回のパスで構築できる学習インデックスです。 RSは2つのパラメータしか持たないにもかかわらず、すべてのデータセットで競合的な結果を達成する。
  論文  参考訳（メタデータ） (2020-04-30T01:56:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。