論文の概要: Quantifying and Expanding the Theoretical Capacity of Late-Interaction Retrieval Models

• arxiv url: http://arxiv.org/abs/2607.05803v1
• Date: Tue, 07 Jul 2026 03:56:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.3931
• Title: Quantifying and Expanding the Theoretical Capacity of Late-Interaction Retrieval Models
• Title（参考訳）: 後期相互作用検索モデルの理論的容量の定量化と拡張
• Abstract要約: マックスシムの類似性は、無限次元の任意の2つの非負の k-スパースベクトルの間の内積を正確に再現できることを示す。 また、MaxSimはソフトOR操作のアグリゲーションとして機能し、正の共役正規形における論理式の評価器として機能することを示す。
• 参考スコア（独自算出の注目度）: 39.62951729548881
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Late-interaction retrieval models that use the MaxSim similarity function have shown strong empirical performance, often outperforming single-vector dense and sparse retrieval models. Despite these empirical findings, little is known about the theoretical representation power of MaxSim and how it compares to other retrieval approaches. This paper shows by construction that MaxSim similarity can exactly replicate the inner product between any two non-negative k-sparse vectors with possibly infinite dimension, requiring only O(k) representation space. Moreover, there exist similarities that MaxSim can express while standard vector inner products with the same representation space cannot. Leveraging our theoretical framework, we introduce Signed MaxSim which allows late-interaction models to exactly replicate any real-valued inner product, something we prove standard MaxSim is not capable of. We also show that MaxSim can act as an aggregation of soft-OR operations and as an evaluator of logical expressions in positive Conjunctive Normal Form. Our findings show that MaxSim is at least as capable as standard vector inner products for any non-negative vectors and our extension, Signed MaxSim, is as capable for any vectors. Both similarities possess additional capabilities that inner product cannot replicate, marking one of the first theoretical justifications and quantifications of late-interaction methods. Our theoretical findings are supported empirically: on a retrieval task featuring queries with negations, Signed MaxSim improves out-of-domain performance significantly over a standard ColBERT/MaxSim baseline with nDCG@10 increasing from 0.597 to 1.000 under a vocabulary shift and from 0.008 to 0.788 on negation-only queries.
• Abstract（参考訳）: MaxSim類似性関数を用いた遅延相互作用検索モデルは、強い経験的性能を示し、しばしば単ベクトル密度とスパース検索モデルより優れている。 これらの経験的な発見にもかかわらず、MaxSimの理論的表現力や、他の検索手法との比較についてはほとんど分かっていない。 この論文は、マックスシムの類似性は、O(k) 表現空間のみを必要とする、無限次元の任意の2つの非負の k-スパースベクトルの間の内積を正確に複製できることを示す。 さらに、マックスシムが表現できるような類似性はあるが、同じ表現空間を持つ標準ベクトル内積は表現できない。 理論的な枠組みを取り入れたSigned MaxSimを導入します。これは、遅延相互作用モデルによって、実際の価値のある内積を正確に複製することができます。 また、MaxSimはソフトOR操作のアグリゲーションとして機能し、正の共役正規形における論理式の評価器として機能することを示す。 以上の結果から,MaxSimは任意の非負ベクトルに対して標準ベクトル内積として有効であり,その拡張であるSigned MaxSimは任意のベクトルに対して有効であることがわかった。 どちらの類似性も、内部積が複製できない追加の能力を有しており、遅延相互作用法の最初の理論的正当化と定量化の1つをマークしている。 否定型クエリを特徴とする検索タスクでは,nDCG@10が0.597から1.000に増加し,否定のみのクエリでは0.008から0.788に増加し,標準のColBERT/MaxSimベースラインよりもドメイン外のパフォーマンスが大幅に向上する。

関連論文リスト

• Limitations of Automated Simulatability: LLM Simulators Can Bypass Explanations [16.24449973143784]
  Simulatability(シミュラビリティ)は、ユーザがタスクモデルのアウトプットを予測するのにいかに役立つかによって、その有用性を定量化する説明のための評価プロトコルである。 テストされたデータセット、説明ファミリ、シミュレータLLM間でのConSimの説明方法のランキングを再現し、拡張する。 シミュレーターは、説明に頼らずに、直接分類タスクを解くことで、高いシミュラビリティを得ることができることがわかった。
  論文  参考訳（メタデータ） (2026-09-08T11:21:55Z)
• Working Notes on Late Interaction Dynamics: Analyzing Targeted Behaviors of Late Interaction Models [0.10923877073891443]
  我々は,複数ベクトルスコアを用いた場合に生じる長さバイアスと,MaxSim演算子によってサンプリングされたベストスコアを超える類似度分布という,遅延相互作用検索の2つのトピックに焦点をあてる。 その結果,因果相互作用モデルの理論的長さバイアスが実際に成立する一方で,両方向モデルも極端な場合においてその影響を被ることが示唆された。
  論文  参考訳（メタデータ） (2026-03-27T10:29:15Z)
• Mind the Sim2Real Gap in User Simulation for Agentic Tasks [101.69142591891234]
  ユーザシミュレーションにおけるSim2Realのギャップを形式化し、実際の人間に対して$$$-benchプロトコルを実行する最初の研究を示す。 LLMシミュレータは過度に協調的であり、スタイリスティックに均一であり、現実的なフラストレーションや曖昧さを欠いている。 これらの知見は, LLMベースのユーザシミュレータをエージェント開発サイクルで使用する際の人間による検証の重要性を強調した。
  論文  参考訳（メタデータ） (2026-03-11T19:12:31Z)
• SimBench: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors [58.87134689752605]
  我々は,LLMシミュレーションの堅牢で再現可能な科学のための,最初の大規模標準ベンチマークであるSimBenchを紹介する。 現在、最高のLLMでさえシミュレーション能力が限られ(スコア: 40.80/100)、性能はモデルサイズと対数的にスケールする。 シミュレーション能力は、深い知識集約的推論と最も強く相関していることを示す。
  論文  参考訳（メタデータ） (2025-10-20T13:14:38Z)
• PolySim: Bridging the Sim-to-Real Gap for Humanoid Control via Multi-Simulator Dynamics Randomization [53.7088694598817]
  複数の異種シミュレータを統合するWBCトレーニングプラットフォームであるPolySimを紹介する。 理論的には、PolySimは単シミュレータトレーニングよりもシミュレータ誘導バイアスの強い上限が得られることを示す。
  論文  参考訳（メタデータ） (2025-10-02T06:31:42Z)
• Conditional Distribution Quantization in Machine Learning [83.54039134248231]
  条件予測 mathbbE(Y Mid X) はしばしば、マルチモーダル条件分布の複雑さを捉えることに失敗する(Y Mid X) 我々はn点条件量子化(n-point Conditional Quantizations)-勾配降下により学習可能なXの関数写像--近似数学L(Y mid X)-を提案する。
  論文  参考訳（メタデータ） (2025-02-11T00:28:24Z)
• Identification and Estimation of Simultaneous Equation Models Using Higher-Order Cumulant Restrictions [5.882065571122133]
  線形同時方程式モデルにおける構造パラメータの同定は長年にわたる課題である。 構造パラメータの同定には共分散証明もホワイトニングも必要ないことを示す。 私たちのフレームワークは透過的なオーバーアイデンティティテストを提供します。
  論文  参考訳（メタデータ） (2025-01-12T11:27:39Z)
• Quotient Normalized Maximum Likelihood Criterion for Learning Bayesian Network Structures [2.8241592244768174]
  ネットワーク構造学習のための情報理論的基準として、商正規化最大度(qNML)を導入する。 シミュレーションデータと実データの両方の実験により、新しい基準が予測精度の良い擬似モデルに繋がることを示した。
  論文  参考訳（メタデータ） (2024-08-27T10:17:22Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Robust Bayesian Inference for Simulator-based Models via the MMD Posterior Bootstrap [13.448658162594604]
  後部ブートストラップと最大平均誤差推定器に基づく新しいアルゴリズムを提案する。 これにより、強い性質を持つ高パラレライズ可能なベイズ推論アルゴリズムが導かれる。 このアプローチは、g-and-k分布やトグル・スウィッチモデルなど、さまざまな例に基づいて評価される。
  論文  参考訳（メタデータ） (2022-02-09T22:12:19Z)
• On the Fundamental Limits of Matrix Completion: Leveraging Hierarchical Similarity Graphs [39.00971122472004]
  本稿では,階層的類似性グラフを推薦システムの側情報として活用する行列補完問題について検討する。 階層的ブロックモデルの下では、観測された行列成分の数に対する正確な情報理論の限界を特徴づける。 最適サンプルの複雑性を解析し,階層的類似性グラフの側情報の品質指標に依拠する特徴を同定する。
  論文  参考訳（メタデータ） (2021-09-12T02:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。