論文の概要: Efficient Constant-Space Multi-Vector Retrieval

• arxiv url: http://arxiv.org/abs/2504.01818v1
• Date: Wed, 02 Apr 2025 15:22:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:23:26.909056
• Title: Efficient Constant-Space Multi-Vector Retrieval
• Title（参考訳）: 定数空間多ベクトル検索の効率化
• Authors: Sean MacAvaney, Antonio Mallia, Nicola Tonellotto,
• Abstract要約: 入力トークンに縛られる必要がなくなったベクトルに対して,文書を一定数のベクトルに符号化する手法を提案する。 経路は、元の有効性を保ちながら、効果的に一定数のベクトルに符号化できることがわかった。
• 参考スコア（独自算出の注目度）: 25.834026445124874
• License:
• Abstract: Multi-vector retrieval methods, exemplified by the ColBERT architecture, have shown substantial promise for retrieval by providing strong trade-offs in terms of retrieval latency and effectiveness. However, they come at a high cost in terms of storage since a (potentially compressed) vector needs to be stored for every token in the input collection. To overcome this issue, we propose encoding documents to a fixed number of vectors, which are no longer necessarily tied to the input tokens. Beyond reducing the storage costs, our approach has the advantage that document representations become of a fixed size on disk, allowing for better OS paging management. Through experiments using the MSMARCO passage corpus and BEIR with the ColBERT-v2 architecture, a representative multi-vector ranking model architecture, we find that passages can be effectively encoded into a fixed number of vectors while retaining most of the original effectiveness.
• Abstract（参考訳）: ColBERTアーキテクチャを例に挙げたマルチベクタ検索手法は,検索待ち時間と有効性の観点から,強力なトレードオフを提供することによって,検索の実質的な可能性を示している。 しかし、(潜在的に圧縮された)ベクトルは入力コレクションの各トークンに格納する必要があるため、ストレージの観点からは高いコストがかかる。 この問題を克服するために、我々は、入力トークンに必ずしも結びついていない固定数のベクトルに文書を符号化することを提案する。 ストレージコストの削減以外にも、ドキュメント表現がディスク上の固定サイズになるという利点があり、OSのページング管理を改善できます。 代表的なマルチベクトルランキングモデルアーキテクチャであるColBERT-v2アーキテクチャを用いたMSMARCOパスコーパスコーパスとBEIRを用いた実験により,パスを固定数のベクトルに効果的に符号化し,元の効率のほとんどを維持できることがわかった。

関連論文リスト

• SECRET: Towards Scalable and Efficient Code Retrieval via Segmented Deep Hashing [83.35231185111464]
  ディープラーニングは、検索パラダイムを語彙ベースのマッチングから、ソースコードとクエリをベクトル表現にエンコードした。 従来の研究では、クエリやコードスニペットのハッシュコードを生成し、ハミング距離を使ってコード候補を高速にリコールするディープハッシュベースの手法が提案されている。 提案手法は,既存の深層ハッシュ法によって計算された長いハッシュコードを,反復的学習戦略により複数の短いハッシュコードセグメントに変換する手法である。
  論文  参考訳（メタデータ） (2024-12-16T12:51:35Z)
• PrefixKV: Adaptive Prefix KV Cache is What Vision Instruction-Following Models Need for Efficient Generation [65.36715026409873]
  キー値(KV)キャッシュは、長い入力シーケンスと出力シーケンスを必要とするが、特に高い推論コストに寄与する。 ここでは,すべてのレイヤのKVキャッシュサイズを決定するという課題を,最適なグローバルプレフィックス設定を探すタスクに再編成するPrefixKVを提案する。 本手法は他の手法と比較して最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-12-04T15:48:59Z)
• Reducing the Footprint of Multi-Vector Retrieval with Minimal Performance Impact via Token Pooling [5.232135930253723]
  ColBERTによって先導されたマルチベクター検索手法は、ニューラルIRに対するアプローチとしてますます人気が高まっている。 しかし、大量のベクトルを格納するために必要なストレージとメモリの要求は、依然として重要な欠点である。 簡単なクラスタリングベースのトークンプーリング手法を導入し、保存が必要なベクトルの数を積極的に削減する。
  論文  参考訳（メタデータ） (2024-09-23T03:12:43Z)
• SparseCL: Sparse Contrastive Learning for Contradiction Retrieval [87.02936971689817]
  コントラディション検索(Contradiction Search)とは、クエリの内容に明示的に異を唱える文書を識別し、抽出することである。 類似性探索やクロスエンコーダモデルといった既存の手法には、大きな制限がある。 文間の微妙で矛盾したニュアンスを保存するために特別に訓練された文埋め込みを利用するSparseCLを導入する。
  論文  参考訳（メタデータ） (2024-06-15T21:57:03Z)
• MUVERA: Multi-Vector Retrieval via Fixed Dimensional Encodings [15.275864151890511]
  マルチベクトル探索を単一ベクトル類似性探索に還元する検索機構であるMUVERA(MUlti-VEctor Retrieval Algorithm)を導入する。 MUVERAはBEIR検索データセットの多種多様なセットに対して、一貫して優れたエンドツーエンドのリコールとレイテンシを実現する。
  論文  参考訳（メタデータ） (2024-05-29T20:40:20Z)
• CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for Efficient and Effective Multi-Vector Retrieval [72.90850213615427]
  マルチベクター検索法はスパース(例えばBM25)と高密度(例えばDPR)レトリバーの利点を組み合わせたものである。 これらの手法は桁違いに遅く、単ベクトルの手法に比べてインデックスを格納するのにはるかに多くのスペースを必要とする。 動的語彙ルーティング(CITADEL)による条件付きトークンの相互作用を,効率的かつ効率的なマルチベクタ検索のために提案する。
  論文  参考訳（メタデータ） (2022-11-18T18:27:35Z)
• Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization [60.91600465922932]
  本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。 我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
  論文  参考訳（メタデータ） (2022-10-23T00:32:04Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• SDR: Efficient Neural Re-ranking using Succinct Document Representation [4.9278175139681215]
  本稿では, 強調圧縮した中間文書表現を演算する文書表現方式を提案する。 提案手法は効率が良く, 同一品質の圧縮速度が4x-11.6倍向上した。
  論文  参考訳（メタデータ） (2021-10-03T07:43:16Z)
• Sparse, Dense, and Attentional Representations for Text Retrieval [25.670835450331943]
  デュアルエンコーダは、文書やクエリを高密度な低次元ベクトルに符号化することで検索を行う。 単語の疎結合モデルや注目ニューラルネットワークと比較して,このアーキテクチャのキャパシティについて検討する。 本稿では,2重エンコーダの効率性と,よりコストのかかる注目アーキテクチャの表現性を結合した単純なニューラルモデルを提案する。
  論文  参考訳（メタデータ） (2020-05-01T02:21:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。