論文の概要: Locally-Adaptive Quantization for Streaming Vector Search
- arxiv url: http://arxiv.org/abs/2402.02044v1
- Date: Sat, 3 Feb 2024 05:43:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 22:41:59.798833
- Title: Locally-Adaptive Quantization for Streaming Vector Search
- Title（参考訳）: 局所適応量子化によるストリーミングベクトル探索
- Authors: Cecilia Aguerrebere and Mark Hildebrand and Ishwar Singh Bhati and
Theodore Willke and Mariano Tepper
- Abstract要約: 高効率ベクトル圧縮法であるLocally-Adaptive Vector Quantization (LVQ)は、非進化データベースに対して最先端の探索性能を得る。
LVQの2つの改善点として,Turbo LVQとMulti-means LVQを導入し,検索性能を28%,27%向上させた。
我々の研究は、LVQとその新しい変種が高速ベクトル探索を可能にし、同じ分散データに対して、最も近い競合である9.4倍の性能を発揮することを示した。
- 参考スコア（独自算出の注目度）: 1.151101202055732
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Retrieving the most similar vector embeddings to a given query among a
massive collection of vectors has long been a key component of countless
real-world applications. The recently introduced Retrieval-Augmented Generation
is one of the most prominent examples. For many of these applications, the
database evolves over time by inserting new data and removing outdated data. In
these cases, the retrieval problem is known as streaming similarity search.
While Locally-Adaptive Vector Quantization (LVQ), a highly efficient vector
compression method, yields state-of-the-art search performance for non-evolving
databases, its usefulness in the streaming setting has not been yet
established. In this work, we study LVQ in streaming similarity search. In
support of our evaluation, we introduce two improvements of LVQ: Turbo LVQ and
multi-means LVQ that boost its search performance by up to 28% and 27%,
respectively. Our studies show that LVQ and its new variants enable blazing
fast vector search, outperforming its closest competitor by up to 9.4x for
identically distributed data and by up to 8.8x under the challenging scenario
of data distribution shifts (i.e., where the statistical distribution of the
data changes over time). We release our contributions as part of Scalable
Vector Search, an open-source library for high-performance similarity search.
- Abstract（参考訳）: 大量のベクトル集合の中で、与えられたクエリに最もよく似たベクトル埋め込みを取得することは、長い間、数え切れないほど現実世界のアプリケーションの主要なコンポーネントであった。
最近導入されたRetrieval-Augmented Generationは最も顕著な例の1つである。
これらのアプリケーションの多くは、データベースが時間とともに進化し、新しいデータを挿入し、古いデータを削除する。
このような場合、検索問題はストリーミング類似検索として知られている。
高効率ベクトル圧縮法であるLocally-Adaptive Vector Quantization (LVQ)は、非進化的データベースに対して最先端の検索性能をもたらすが、ストリーミング設定における有用性はまだ確立されていない。
本研究では,ストリーミング類似度探索におけるLVQについて検討する。
本稿では,LVQの検索性能を最大28%向上するTurbo LVQとMulti-means LVQの2つの改良点を紹介する。
我々の研究は、LVQとその新しい変種が高速ベクトル探索を可能にし、同じ分散データに対して最大9.4倍、データ分散シフトの挑戦的なシナリオ(すなわち、データの統計的分布が時間とともに変化する場合)下で最大8.8倍の速度で競合する。
高速な類似検索のためのオープンソースのライブラリであるScalable Vector Searchの一部として、私たちのコントリビューションをリリースしています。
関連論文リスト
- SPFresh: Incremental In-Place Update for Billion-Scale Vector Search [19.245438083030006]
位置ベクトル更新をサポートするシステムであるSPFreshを紹介する。
SPFreshの中心は軽量なインクリメンタルリバランシングプロトコルであるLIREである。
LIREでは,グローバルリビルドに基づくソリューションに対して,クエリレイテンシと精度が向上する。
論文 参考訳（メタデータ） (2024-10-18T13:24:18Z) - GleanVec: Accelerating vector search with minimalist nonlinear dimensionality reduction [1.1599570446840546]
クロスモーダル検索(例えば、画像を見つけるためにテキストクエリを使用する)は急速に勢いを増している。
クエリはデータベースベクトルとは異なる統計分布を持つことが多いため、高い精度を達成することは困難である。
本稿では,高次元ベクトル探索を高速化するために,次元削減のための線形非線形手法を提案する。
論文 参考訳（メタデータ） (2024-10-14T21:14:27Z) - Operational Advice for Dense and Sparse Retrievers: HNSW, Flat, or Inverted Indexes? [62.57689536630933]
本稿では,オープンソースのLucene検索ライブラリを用いたBEIRデータセットの実験結果について述べる。
本研究は,高密度かつ疎密なレトリバーの設計空間を理解するための,今日の検索実践者へのガイダンスを提供する。
論文 参考訳（メタデータ） (2024-09-10T12:46:23Z) - Efficient Data Access Paths for Mixed Vector-Relational Search [8.80592433569832]
機械学習とベクトル埋め込みを用いたデータ処理手法の採用は、ベクトルデータ管理のためのシステム構築に大きな関心を喚起した。
ベクトルデータ管理の主流のアプローチは、ベクトル埋め込み全体を高速に検索するために特別なインデックス構造を使用することであるが、一度他の(メタ)データと組み合わせると、検索クエリはリレーショナル属性に対して選択的になる。
ベクトルインデックスは従来の関係データアクセスと異なるため、効率的な混合ベクトル関係探索のための代替アクセスパスを再検討し分析する。
論文 参考訳（メタデータ） (2024-03-23T11:34:17Z) - Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。
テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。
LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。
提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
論文 参考訳（メタデータ） (2024-02-27T14:21:56Z) - LeanVec: Searching vectors faster by making them fit [1.0863382547662974]
本稿では,高次元ベクトル上での類似性探索を高速化するために,線形次元減少とベクトル量子化を組み合わせたフレームワークLeanVecを提案する。
LeanVecは、検索のスループットを最大3.7倍改善し、インデックスビルド時間を最大4.9倍高速化する、最先端の結果を生成する。
論文 参考訳（メタデータ） (2023-12-26T21:14:59Z) - ReFIT: Relevance Feedback from a Reranker during Inference [109.33278799999582]
Retrieve-and-Rerankは、ニューラル情報検索の一般的なフレームワークである。
本稿では,リランカを利用してリコールを改善する手法を提案する。
論文 参考訳（メタデータ） (2023-05-19T15:30:33Z) - Similarity search in the blink of an eye with compressed indices [3.39271933237479]
グラフベースのインデックスは現在、数十億の類似性検索において、最高のパフォーマンス技術である。
より高速でより小さなグラフベースのインデックスを作成するための新しい手法とシステムを提案する。
論文 参考訳（メタデータ） (2023-04-07T23:10:39Z) - Improving Out-of-Distribution Generalization of Neural Rerankers with
Contextualized Late Interaction [52.63663547523033]
マルチベクトルの最も単純な形式である後期相互作用は、[]ベクトルのみを使用して類似度スコアを計算する神経リランカにも役立ちます。
異なるモデルサイズと多様な性質の第一段階のレトリバーに一貫性があることが示される。
論文 参考訳（メタデータ） (2023-02-13T18:42:17Z) - CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for
Efficient and Effective Multi-Vector Retrieval [72.90850213615427]
マルチベクター検索法はスパース(例えばBM25)と高密度(例えばDPR)レトリバーの利点を組み合わせたものである。
これらの手法は桁違いに遅く、単ベクトルの手法に比べてインデックスを格納するのにはるかに多くのスペースを必要とする。
動的語彙ルーティング(CITADEL)による条件付きトークンの相互作用を,効率的かつ効率的なマルチベクタ検索のために提案する。
論文 参考訳（メタデータ） (2022-11-18T18:27:35Z) - IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。
クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。
我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
論文 参考訳（メタデータ） (2021-03-17T23:13:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。