論文の概要: MUVERA: Multi-Vector Retrieval via Fixed Dimensional Encodings

• arxiv url: http://arxiv.org/abs/2405.19504v1
• Date: Wed, 29 May 2024 20:40:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 23:33:13.190546
• Title: MUVERA: Multi-Vector Retrieval via Fixed Dimensional Encodings
• Title（参考訳）: MUVERA:固定次元符号化によるマルチベクトル検索
• Authors: Laxman Dhulipala, Majid Hadian, Rajesh Jayaram, Jason Lee, Vahab Mirrokni,
• Abstract要約: マルチベクトル探索を単一ベクトル類似性探索に還元する検索機構であるMUVERA(MUlti-VEctor Retrieval Algorithm)を導入する。 MUVERAはBEIR検索データセットの多種多様なセットに対して、一貫して優れたエンドツーエンドのリコールとレイテンシを実現する。
• 参考スコア（独自算出の注目度）: 15.275864151890511
• License:
• Abstract: Neural embedding models have become a fundamental component of modern information retrieval (IR) pipelines. These models produce a single embedding $x \in \mathbb{R}^d$ per data-point, allowing for fast retrieval via highly optimized maximum inner product search (MIPS) algorithms. Recently, beginning with the landmark ColBERT paper, multi-vector models, which produce a set of embedding per data point, have achieved markedly superior performance for IR tasks. Unfortunately, using these models for IR is computationally expensive due to the increased complexity of multi-vector retrieval and scoring. In this paper, we introduce MUVERA (MUlti-VEctor Retrieval Algorithm), a retrieval mechanism which reduces multi-vector similarity search to single-vector similarity search. This enables the usage of off-the-shelf MIPS solvers for multi-vector retrieval. MUVERA asymmetrically generates Fixed Dimensional Encodings (FDEs) of queries and documents, which are vectors whose inner product approximates multi-vector similarity. We prove that FDEs give high-quality $\epsilon$-approximations, thus providing the first single-vector proxy for multi-vector similarity with theoretical guarantees. Empirically, we find that FDEs achieve the same recall as prior state-of-the-art heuristics while retrieving 2-5$\times$ fewer candidates. Compared to prior state of the art implementations, MUVERA achieves consistently good end-to-end recall and latency across a diverse set of the BEIR retrieval datasets, achieving an average of 10$\%$ improved recall with $90\%$ lower latency.
• Abstract（参考訳）: ニューラル埋め込みモデルは、現代の情報検索(IR)パイプラインの基本コンポーネントとなっている。 これらのモデルは、データポイント当たりの1つの埋め込み$x \in \mathbb{R}^d$を生成し、高度に最適化された最大内部積探索(MIPS)アルゴリズムによる高速な検索を可能にする。 近年,ColBERT の論文から始まったマルチベクターモデルでは,データ点毎の埋め込みが実現されており,IR タスクの性能が著しく向上している。 残念ながら、これらのモデルをIRに使用するのは、多ベクトル検索とスコアリングの複雑さが増すため、計算コストがかかる。 本稿では,マルチベクトル類似度探索を単一ベクトル類似度探索に還元する検索機構であるMUVERA(MUlti-VEctor Retrieval Algorithm)を提案する。 これにより、市販のMIPSソルバをマルチベクトル検索に使用することができる。 MUVERAは、内部積がマルチベクトル類似性に近似するベクトルであるクエリやドキュメントの固定次元符号化(FDE)を非対称に生成する。 我々は、FDEが高品質な$\epsilon$-approximationsを与えることを証明し、理論的保証とともにマルチベクトル類似性のための最初の単一ベクトルプロキシを提供する。 経験的に、FDEは従来の最先端のヒューリスティックと同じリコールを達成し、2-5$\times$より少ない候補を検索する。 従来の最先端実装と比較して、MUVERAはBEIR検索データセットのさまざまなセットに対して、一貫して優れたエンドツーエンドリコールとレイテンシを実現し、平均10$\%$の改善リコールを90$%$低レイテンシで達成している。

関連論文リスト

• Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
  学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。 テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。 LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。 提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
  論文  参考訳（メタデータ） (2024-02-27T14:21:56Z)
• LeanVec: Searching vectors faster by making them fit [1.0863382547662974]
  本稿では,高次元ベクトル上での類似性探索を高速化するために,線形次元減少とベクトル量子化を組み合わせたフレームワークLeanVecを提案する。 LeanVecは、検索のスループットを最大3.7倍改善し、インデックスビルド時間を最大4.9倍高速化する、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2023-12-26T21:14:59Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Multivariate Representation Learning for Information Retrieval [31.31440742912932]
  本稿では,高密度検索のための新しい表現学習フレームワークを提案する。 クエリやドキュメント毎にベクトルを学習する代わりに、我々のフレームワークは多変量分布を学習する。 近似した近似近似アルゴリズムにシームレスに統合できることが示される。
  論文  参考訳（メタデータ） (2023-04-27T20:30:46Z)
• CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for Efficient and Effective Multi-Vector Retrieval [72.90850213615427]
  マルチベクター検索法はスパース(例えばBM25)と高密度(例えばDPR)レトリバーの利点を組み合わせたものである。 これらの手法は桁違いに遅く、単ベクトルの手法に比べてインデックスを格納するのにはるかに多くのスペースを必要とする。 動的語彙ルーティング(CITADEL)による条件付きトークンの相互作用を,効率的かつ効率的なマルチベクタ検索のために提案する。
  論文  参考訳（メタデータ） (2022-11-18T18:27:35Z)
• Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization [60.91600465922932]
  本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。 我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
  論文  参考訳（メタデータ） (2022-10-23T00:32:04Z)
• Finding Geometric Models by Clustering in the Consensus Space [61.65661010039768]
  本稿では,未知数の幾何学的モデル,例えばホモグラフィーを求めるアルゴリズムを提案する。 複数の幾何モデルを用いることで精度が向上するアプリケーションをいくつか提示する。 これには、複数の一般化されたホモグラフからのポーズ推定、高速移動物体の軌道推定が含まれる。
  論文  参考訳（メタデータ） (2021-03-25T14:35:07Z)
• IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
  分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。 クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。 我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
  論文  参考訳（メタデータ） (2021-03-17T23:13:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。