論文の概要: Retrieval Needs Multivectors: An Exponential Separation

• arxiv url: http://arxiv.org/abs/2608.21494v1
• Date: Fri, 21 Aug 2026 13:26:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.230115
• Title: Retrieval Needs Multivectors: An Exponential Separation
• Title（参考訳）: Retrievalはマルチベクタを必要とする:指数分離
• Abstract要約: 我々は、これらの難しい例を自然にインスタンス化する新しい検索ベンチマークであるANDORを紹介する。 ゼロショット設定におけるANDORの性能は,最先端の単一ベクトル埋め込みモデルでは不十分であることを示す。 対照的に、マルチベクターモデルはシングルベクターモデルよりも一貫して優れており、微調整によって大幅に改善されている。
• 参考スコア（独自算出の注目度）: 14.201575154107294
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent works have highlighted the expressive limitations of embedding based retrieval models through both theoretical analyses and challenging benchmarks such as LIMIT. While multi-vector embeddings consistently outperform single-vector embeddings, the precise representational gap between them remains poorly understood. In this work, following Jayaram's work, we provide the first explicit family of query and document sets, together with their relevance matrices, for which single-vector embeddings that rank all relevant documents above irrelevant ones require exponential size, whereas polynomial-size multi-vector embeddings suffice. Our result establishes an exponential separation between the expressive power of single-vector and multi-vector embeddings for the task of ranking of documents as opposed to approximating numerical scores as in the work of Jayaram. Motivated by our theoretical construction, we introduce ANDOR, a new retrieval benchmark that naturally instantiates these hard examples. We show that state-of-the-art single-vector embedding models perform poorly on ANDOR in the zero-shot setting and exhibit only marginal improvements after fine-tuning, highlighting the inherent difficulty of the benchmark compared to prior work. In contrast, multi-vector models consistently outperform their single-vector counterparts and improve substantially with fine-tuning, closely aligning with our theoretical predictions.
• Abstract（参考訳）: 最近の研究は、理論解析とLIMITのような挑戦的なベンチマークの両方を通して、埋め込みベースの検索モデルの表現的な制限を強調している。 マルチベクター埋め込みはシングルベクター埋め込みよりも一貫して優れているが、それらの間の正確な表現的ギャップはいまだに理解されていない。 この研究において、Jayaramの業績に従い、関係行列とともにクエリと文書集合の最初の明示的なファミリーを提供し、そこでは、関連するすべての文書を無関係にランク付けする単一のベクトル埋め込みは指数的サイズを必要とするが、多項式サイズのマルチベクトル埋め込みは十分である。 この結果から,ジャヤラムの作品のように,文書のランク付け作業において,単一ベクトルの表現力と多ベクトル埋め込みの指数関数的分離が成立する。 理論的な構成により、我々はこれらの難しい例を自然にインスタンス化する新しいベンチマークであるANDORを導入する。 現状の単一ベクトル埋め込みモデルは、ゼロショット設定のANDORでは性能が悪く、微調整後の限界改善しか示さず、従来の作業と比べてベンチマークの固有の難しさを強調している。 対照的に、マルチベクトルモデルは単ベクトルモデルよりも一貫して優れ、微調整により大幅に改善され、我々の理論的予測と密接に一致している。

関連論文リスト

• DocRetriever: A Plug-and-Play Framework for Multimodal Document Retrieval with Comprehensive Benchmark [48.84943754804533]
  マルチモーダル文書には、テーブル、フィギュア、レイアウトなど、さまざまな要素が含まれている。 現在のアプローチでは、高精度の検索を実現するために、高密度の視覚埋め込みモデルと教師付きリランカを組み合わせるのが一般的である。 本稿では,レイアウトを意識したスパース埋め込み技術による視覚検索を支援するプラグイン・アンド・プレイフレームワークDocRetrieverを提案する。
  論文  参考訳（メタデータ） (2026-05-28T14:50:53Z)
• On Strengths and Limitations of Single-Vector Embeddings [13.712240635014775]
  次元性だけでは観察された失敗を説明できないことを示す。 ドメインシフトと、埋め込み類似性とタスクの基本的な概念との相違が、主要なコントリビュータであることに気付きました。
  論文  参考訳（メタデータ） (2026-03-31T10:04:54Z)
• Measuring Orthogonality in Representations of Generative Models [81.13466637365553]
  教師なしの表現学習において、モデルは高次元データから低次元の学習表現に不可欠な特徴を蒸留することを目的としている。 独立した生成過程の切り離しは、長い間、高品質な表現を生み出してきた。 我々は、IWO(Importance-Weighted Orthogonality)とIWR(Importance-Weighted Rank)の2つの新しい指標を提案する。
  論文  参考訳（メタデータ） (2024-07-04T08:21:54Z)
• Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
  本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。 以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-15T12:38:46Z)
• Refine, Discriminate and Align: Stealing Encoders via Sample-Wise Prototypes and Multi-Relational Extraction [57.16121098944589]
  RDAは、事前訓練されたエンコーダを盗むために、以前の取り組みで普及した2つの主要な欠陥に対処するために設計された先駆的なアプローチである。 これは、サンプルの様々な視点に対してターゲットエンコーダの表現を統一するサンプルワイドプロトタイプによって達成される。 より強力な有効性を得るために、我々はサロゲートエンコーダを訓練し、ミスマッチした埋め込み-プロトタイプペアを識別するマルチリレーショナル抽出損失を開発する。
  論文  参考訳（メタデータ） (2023-12-01T15:03:29Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Efficient Iterative Amortized Inference for Learning Symmetric and Disentangled Multi-Object Representations [8.163697683448811]
  本稿では,オブジェクト中心表現の教師なし学習のための効率的なフレームワークであるEfficientMORLを紹介する。 対称性と非絡み合いの両方を必要とすることによる最適化の課題は、高コスト反復的償却推論によって解決できることを示す。 標準のマルチオブジェクト・ベンチマークでは,強いオブジェクト分解と歪みを示しながら,ほぼ1桁の高速なトレーニングとテスト時間推定を実現している。
  論文  参考訳（メタデータ） (2021-06-07T14:02:49Z)
• Learning Ising models from one or multiple samples [26.00403702328348]
  我々は一サンプル推定の保証を提供し、相互作用行列の族における計量エントロピーの観点から推定誤差を定量化する。 我々の技術的アプローチは、モデルの相互作用ネットワークをスパース化し、結果の条件分布への依存性を十分に弱める変数のサブセットを条件付けすることの恩恵を受ける。
  論文  参考訳（メタデータ） (2020-04-20T15:17:05Z)
• Better Set Representations For Relational Reasoning [30.398348643632445]
  リレーショナル推論は、標準的なベクトル表現とは対照的に、エンティティのセットで動作する。 本稿では,SRN(Set Refiner Network)と呼ばれるシンプルで汎用的なネットワークモジュールを提案する。
  論文  参考訳（メタデータ） (2020-03-09T23:07:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。