論文の概要: LEMUR: Learned Multi-Vector Retrieval
- arxiv url: http://arxiv.org/abs/2601.21853v1
- Date: Thu, 29 Jan 2026 15:26:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:49.935331
- Title: LEMUR: Learned Multi-Vector Retrieval
- Title(参考訳): LEMUR: マルチベクター検索を学ぶ
- Authors: Elias Jääsaari, Ville Hyvönen, Teemu Roos,
- Abstract要約: マルチベクタ類似度探索のためのフレームワーク LEMUR を紹介する。
LEMURは2つの連続した問題削減で構成されている。
LEMURは、従来のマルチベクトル類似性探索法よりも桁違いに高速である。
- 参考スコア(独自算出の注目度): 9.22384870426709
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-vector representations generated by late interaction models, such as ColBERT, enable superior retrieval quality compared to single-vector representations in information retrieval applications. In multi-vector retrieval systems, both queries and documents are encoded using one embedding for each token, and similarity between queries and documents is measured by the MaxSim similarity measure. However, the improved recall of multi-vector retrieval comes at the expense of significantly increased latency. This necessitates designing efficient approximate nearest neighbor search (ANNS) algorithms for multi-vector search. In this work, we introduce LEMUR, a simple-yet-efficient framework for multi-vector similarity search. LEMUR consists of two consecutive problem reductions: We first formulate multi-vector similarity search as a supervised learning problem that can be solved using a one-hidden-layer neural network. Second, we reduce inference under this model to single-vector similarity search in its latent space, which enables the use of existing single-vector ANNS methods for speeding up retrieval. In addition to performance evaluation on ColBERTv2 embeddings, we evaluate LEMUR on embeddings generated by modern multi-vector text models and multi-vector visual document retrieval models. LEMUR is an order of magnitude faster than earlier multi-vector similarity search methods.
- Abstract(参考訳): ColBERTのような後期相互作用モデルによって生成されるマルチベクター表現は、情報検索アプリケーションにおけるシングルベクター表現よりも優れた検索品質を実現する。
マルチベクトル検索システムでは、各トークンに1つの埋め込みを用いてクエリとドキュメントをエンコードし、MaxSimの類似度測定によってクエリとドキュメントの類似度を測定する。
しかし、マルチベクタ検索のリコールの改善は、遅延の大幅な増加を犠牲にしている。
これは、マルチベクター探索のための効率的な近似近接探索(ANNS)アルゴリズムの設計を必要とする。
本研究では,マルチベクタ類似度探索のための簡易なyet-efficientフレームワークであるLEMURを紹介する。
LEMURは2つの連続的な問題削減で構成されている: まず、一層ニューラルネットワークを用いて解くことができる教師付き学習問題として、マルチベクトル類似性探索を定式化する。
第二に、このモデルの下での推論を、その潜在空間における単ベクトル類似性探索に還元し、既存の単ベクトルANNS法を用いて検索を高速化する。
ColBERTv2埋め込みの性能評価に加えて、現代のマルチベクタテキストモデルとマルチベクタビジュアル文書検索モデルにより生成された埋め込みに対するLEMURの評価を行った。
LEMURは、従来のマルチベクトル類似性探索法よりも桁違いに高速である。
関連論文リスト
- Hybrid-Vector Retrieval for Visually Rich Documents: Combining Single-Vector Efficiency and Multi-Vector Accuracy [36.03315207229038]
HEAVENは、視覚的にリッチな文書検索のための2段階のハイブリッドベクトルフレームワークである。
Visually-Summarized Pages上で、単一のベクターメソッドを使用して、候補ページを効率的に検索する。
クエリトークンを言語的に重要度でフィルタリングし、冗長な計算を減らしながら、マルチベクタ方式で候補をリランクする。
論文 参考訳(メタデータ) (2025-10-25T08:27:37Z) - Investigating Multi-layer Representations for Dense Passage Retrieval [46.25475369974163]
文書の表現を構成するために多層表現(MLR)を示す。
まず,異なる層における表現がマルチベクトル検索条件下でのMLRの性能に与える影響について検討する。
本稿では,マルチベクタモデルから単一ベクタモデルへのプーリング戦略を活用することで,検索効率を向上させることを提案する。
論文 参考訳(メタデータ) (2025-09-28T13:00:53Z) - MUVERA: Multi-Vector Retrieval via Fixed Dimensional Encodings [15.275864151890511]
マルチベクトル探索を単一ベクトル類似性探索に還元する検索機構であるMUVERA(MUlti-VEctor Retrieval Algorithm)を導入する。
MUVERAはBEIR検索データセットの多種多様なセットに対して、一貫して優れたエンドツーエンドのリコールとレイテンシを実現する。
論文 参考訳(メタデータ) (2024-05-29T20:40:20Z) - Generative Retrieval as Multi-Vector Dense Retrieval [71.75503049199897]
生成検索は、文書の識別子をエンドツーエンドで生成する。
それまでの研究は、原子識別子による生成的検索が単一ベクトル密度検索と等価であることを示した。
生成的検索と多ベクトル高密度検索は,文書の問合せに対する関連性を測定するのと同じ枠組みを共有していることを示す。
論文 参考訳(メタデータ) (2024-03-31T13:29:43Z) - Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。
テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。
LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。
提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
論文 参考訳(メタデータ) (2024-02-27T14:21:56Z) - LeanVec: Searching vectors faster by making them fit [1.0863382547662974]
本稿では,高次元ベクトル上での類似性探索を高速化するために,線形次元減少とベクトル量子化を組み合わせたフレームワークLeanVecを提案する。
LeanVecは、検索のスループットを最大3.7倍改善し、インデックスビルド時間を最大4.9倍高速化する、最先端の結果を生成する。
論文 参考訳(メタデータ) (2023-12-26T21:14:59Z) - An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。
このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。
本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-09-30T15:57:14Z) - CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for
Efficient and Effective Multi-Vector Retrieval [72.90850213615427]
マルチベクター検索法はスパース(例えばBM25)と高密度(例えばDPR)レトリバーの利点を組み合わせたものである。
これらの手法は桁違いに遅く、単ベクトルの手法に比べてインデックスを格納するのにはるかに多くのスペースを必要とする。
動的語彙ルーティング(CITADEL)による条件付きトークンの相互作用を,効率的かつ効率的なマルチベクタ検索のために提案する。
論文 参考訳(メタデータ) (2022-11-18T18:27:35Z) - Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix
Factorization [60.91600465922932]
本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。
我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
論文 参考訳(メタデータ) (2022-10-23T00:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。