論文の概要: Spike Hijacking in Late-Interaction Retrieval

• arxiv url: http://arxiv.org/abs/2604.05253v1
• Date: Mon, 06 Apr 2026 23:31:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.529524
• Title: Spike Hijacking in Late-Interaction Retrieval
• Title（参考訳）: 後期相互作用検索におけるスパイクハイジャック
• Authors: Karthik Suresh, Tushar Vatsa, Tracy King, Asim Kadav, Michael Friedrich,
• Abstract要約: 遅延相互作用検索モデルはトークンレベルの類似性を集約するためにハードマックス類似度(MaxSim)に依存している。 MaxSimをベースとした検索における勾配ルーティングとロバスト性に関する力学的検討を行う。 我々はMaxSimがよりスムーズな代替品よりもパッチレベルの勾配濃度を著しく高めることを示した。
• 参考スコア（独自算出の注目度）: 1.7821873873933047
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Late-interaction retrieval models rely on hard maximum similarity (MaxSim) to aggregate token-level similarities. Although effective, this winner-take-all pooling rule may structurally bias training dynamics. We provide a mechanistic study of gradient routing and robustness in MaxSim-based retrieval. In a controlled synthetic environment with in-batch contrastive training, we demonstrate that MaxSim induces significantly higher patch-level gradient concentration than smoother alternatives such as Top-k pooling and softmax aggregation. While sparse routing can improve early discrimination, it also increases sensitivity to document length: as the number of document patches grows, MaxSim degrades more sharply than mild smoothing variants. We corroborate these findings on a real-world multi-vector retrieval benchmark, where controlled document-length sweeps reveal similar brittleness under hard max pooling. Together, our results isolate pooling-induced gradient concentration as a structural property of late-interaction retrieval and highlight a sparsity-robustness tradeoff. These findings motivate principled alternatives to hard max pooling in multi-vector retrieval systems.
• Abstract（参考訳）: 遅延相互作用検索モデルはトークンレベルの類似性を集約するためにハードマックス類似度(MaxSim)に依存している。 効果的ではあるが、この全ての入賞ルールは構造的にバイアストレーニングのダイナミクスとなる。 MaxSimをベースとした検索における勾配ルーティングとロバスト性に関する力学的検討を行う。 In-batch contrastive training(英語版)による制御された合成環境において、MaxSimはTop-kプールやソフトマックスアグリゲーションのようなスムーズな代替品よりもパッチレベル濃度が有意に高くなることを示した。 スパースルーティングは早期識別を改善することができるが、ドキュメント長に対する感度も向上する。ドキュメントパッチの数が増加するにつれて、MaxSimは軽度なスムーズなバリエーションよりも格段に低下する。 我々はこれらの知見を実世界のマルチベクター・サーチ・ベンチマークで相関し、文書長の制御により、ハードマックス・プールの下でも同様の脆さが明らかになる。 以上の結果から, 遅延相互作用検索の構造特性として, プール法により誘導される濃度勾配を分離し, 疎縮性トレードオフを浮き彫りにした。 これらの知見は,マルチベクトル検索システムにおけるハードマックスプールの原理的な代替手段を動機付けている。

関連論文リスト

• Maximum Likelihood Reinforcement Learning [51.83034817019976]
  MaxRLは、強化学習技術を用いて、最大極大度を近似するサンプリングベースのフレームワークである。 MaxRLは,GRPOで訓練したものと比較して,最大20倍のスケーリング効率を達成できることを示す。
  論文  参考訳（メタデータ） (2026-02-02T19:23:42Z)
• Is Softmax Loss All You Need? A Principled Analysis of Softmax-family Loss [91.61796429377041]
  ソフトマックスの損失は、分類とランキングのタスクにおいて最も広く使用されるサロゲートの目標の1つである。 本研究では,異なるサロゲートが分類とランキングの指標との整合性を達成するかどうかを考察し,それらの勾配ダイナミクスを分析して,異なる収束挙動を明らかにする。 本研究は,大規模機械学習アプリケーションにおける損失選択の実践的ガイダンスとして,原則的基礎を確立した。
  論文  参考訳（メタデータ） (2026-01-30T09:24:52Z)
• NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
  本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。 提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。 実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-06-11T06:59:17Z)
• Adaptive Sampled Softmax with Inverted Multi-Index: Methods, Theory and Applications [79.53938312089308]
  MIDX-Samplerは、逆多重インデックスアプローチに基づく新しい適応型サンプリング戦略である。 本手法は, サンプリングバイアス, 勾配バイアス, 収束速度, 一般化誤差境界などの重要な問題に対処するため, 厳密な理論的解析によって裏付けられている。
  論文  参考訳（メタデータ） (2025-01-15T04:09:21Z)
• Distinction Maximization Loss: Efficiently Improving Classification Accuracy, Uncertainty Estimation, and Out-of-Distribution Detection Simply Replacing the Loss and Calibrating [2.262407399039118]
  我々は、DisMax損失を用いた決定論的深層ニューラルネットワークのトレーニングを提案する。 DisMaxは通常、分類精度、不確実性推定、推論効率、アウト・オブ・ディストリビューション検出において、全ての現在のアプローチを同時に上回る。
  論文  参考訳（メタデータ） (2022-05-12T04:37:35Z)
• Deep Hierarchy in Bandits [51.22833900944146]
  行動の報酬は、しばしば相関する。 統計的効率を最大化するためには,これらの相関を学習に活用することが重要である。 平均作用報酬の相関が階層的ベイズモデルで表されるこの問題のバンディット変法を定式化する。
  論文  参考訳（メタデータ） (2022-02-03T08:15:53Z)
• Escaping the Gradient Vanishing: Periodic Alternatives of Softmax in Attention Mechanism [8.007523868483085]
  ソフトマックスは、マルチクラス分類、ゲート構造、アテンションメカニズムのためのニューラルネットワークで広く使われている。 本研究では,指数関数を周期関数で置き換えることを提案する。 本手法は, 勾配問題を緩和し, ソフトマックスとその変種と比較して大幅に改善できることが証明された。
  論文  参考訳（メタデータ） (2021-08-16T15:26:31Z)
• Gradient Estimation with Stochastic Softmax Tricks [84.68686389163153]
  Gumbel-Softmax のトリックを空間に一般化するソフトマックスのトリックを導入する。 ソフトマックスのトリックは、より優れた性能を示す潜在変数モデルを訓練し、より潜時構造を発見するのに利用できる。
  論文  参考訳（メタデータ） (2020-06-15T00:43:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。