論文の概要: Working Notes on Late Interaction Dynamics: Analyzing Targeted Behaviors of Late Interaction Models

• arxiv url: http://arxiv.org/abs/2603.26259v1
• Date: Fri, 27 Mar 2026 10:29:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.447048
• Title: Working Notes on Late Interaction Dynamics: Analyzing Targeted Behaviors of Late Interaction Models
• Title（参考訳）: 後期相互作用のダイナミクスに関する作業ノート:後期相互作用モデルの標的行動の分析
• Abstract要約: 我々は,複数ベクトルスコアを用いた場合に生じる長さバイアスと,MaxSim演算子によってサンプリングされたベストスコアを超える類似度分布という,遅延相互作用検索の2つのトピックに焦点をあてる。 その結果,因果相互作用モデルの理論的長さバイアスが実際に成立する一方で,両方向モデルも極端な場合においてその影響を被ることが示唆された。
• 参考スコア（独自算出の注目度）: 0.10923877073891443
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Late Interaction models exhibit strong retrieval performance, many of their underlying dynamics remain understudied, potentially hiding performance bottlenecks. In this work, we focus on two topics in Late Interaction retrieval: a length bias that arises when using multi-vector scoring, and the similarity distribution beyond the best scores pooled by the MaxSim operator. We analyze these behaviors for state-of-the-art models on the NanoBEIR benchmark. Results show that while the theoretical length bias of causal Late Interaction models holds in practice, bi-directional models can also suffer from it in extreme cases. We also note that no significant similarity trend lies beyond the top-1 document token, validating that the MaxSim operator efficiently exploits the token-level similarity scores.
• Abstract（参考訳）: レイトインタラクションモデルは強力な検索性能を示すが、基礎となるダイナミクスの多くはまだ検討されており、パフォーマンスのボトルネックを隠蔽している可能性がある。 本研究では,複数ベクトルスコアを用いた場合の時間偏差と,MaxSim演算子による最適スコアを超える類似度分布の2点に着目した。 我々は,NanoBEIRベンチマークを用いて,最先端モデルに対するこれらの挙動を解析する。 その結果,因果相互作用モデルの理論的長さバイアスが実際に成立する一方で,両方向モデルも極端な場合においてその影響を被ることが示唆された。 また、MaxSim演算子がトークンレベルの類似度スコアを効果的に活用していることを検証するため、トップ-1ドキュメントトークン以外に重要な類似性トレンドは存在しないことに注意する。

関連論文リスト

• TokenFormer: Unify the Multi-Field and Sequential Recommendation Worlds [17.505701673051405]
  TokenFormerは、以下のイノベーションを取り入れた統合されたレコメンデーションアーキテクチャである。 まず,ボトムフルト・トップ・スライディング(BFTS:Bottom-Full-Top-Sliding)アテンションスキームを導入する。 第2に,非線形相互作用表現(NLIR)を導入し,一方の非線形乗算変換を隠れ状態に適用する。
  論文  参考訳（メタデータ） (2026-04-15T11:25:46Z)
• A Study of Failure Modes in Two-Stage Human-Object Interaction Detection [49.37675694881915]
  本稿では,2段階HOIモデルの故障モードをよりよく理解するための研究を行う。 HOI検出を複数の解釈可能な視点に分解して、さまざまなタイプの障害パターンを研究する。
  論文  参考訳（メタデータ） (2026-04-15T04:01:23Z)
• Towards Real-world Human Behavior Simulation: Benchmarking Large Language Models on Long-horizon, Cross-scenario, Heterogeneous Behavior Traces [81.41397370235102]
  我々はOmniBehaviorを紹介した。OmniBehaviorは実世界のデータから構築された最初のユーザシミュレーションベンチマークである。 現在のモデルでは,コンテキストウィンドウが拡大しても,複雑な振る舞いを正確にシミュレートすることが困難であることを示す。 この結果、個人差や長い尾の挙動が失われ、将来の高忠実度シミュレーション研究における重要な方向性が浮き彫りになる。
  論文  参考訳（メタデータ） (2026-04-09T15:26:21Z)
• Beyond Linearity and Time-homogeneity: Relational Hyper Event Models with Time-Varying Non-Linear Effects [0.0]
  よりフレキシブルなモデルを導入し、統計の影響を非線形かつ経時的に変化させることができるようにします。 このアプローチは、ハイパーイベントを駆動する動的要因に関する深い洞察を与え、潜在的にモノトニックでないパターンを評価することができる。
  論文  参考訳（メタデータ） (2025-09-05T17:55:29Z)
• Inverse Scaling in Test-Time Compute [51.16323216811257]
  LRM(Large Reasoning Models)の推論長の延長は性能を低下させる。 モデルが長い理由付けをする場合には、5つの異なる障害モードを特定します。 これらの結果は、テストタイムの計算スケーリングはモデル機能の改善に引き続き期待できるが、問題のある推論パターンを必然的に補強する可能性があることを示唆している。
  論文  参考訳（メタデータ） (2025-07-19T00:06:13Z)
• Multi-Level Collaboration in Model Merging [56.31088116526825]
  本稿では,モデルマージとモデルアンサンブルの本質的な関係について考察する。 これまでの制限が満たされていない場合でも、モデルのマージによって、アンサンブルと同じような、ほぼ同一かつ優れたパフォーマンスを達成する方法がまだ存在することが分かっています。
  論文  参考訳（メタデータ） (2025-03-03T07:45:04Z)
• Neural Persistence Dynamics [8.197801260302642]
  時間発展する点雲のトポロジにおける力学を学習する問題を考察する。 提案したモデル - $textitNeural Persistence Dynamics$ - は、パラメータ回帰タスクの多種多様なセットで最先端のパフォーマンスを大幅に上回る。
  論文  参考訳（メタデータ） (2024-05-24T17:20:18Z)
• On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
  決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。 我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。 本研究は,専門家の選択に重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-02-05T12:31:18Z)
• A Theory of Dynamic Benchmarks [24.170405353348592]
  動的ベンチマークの利点と実用的限界について検討する。 これらの結果は、経験的作業における観察されたボトルネックに関する理論的基礎と因果的説明を提供する。
  論文  参考訳（メタデータ） (2022-10-06T18:56:46Z)
• Temporal Relevance Analysis for Video Action Models [70.39411261685963]
  まず,CNNに基づく行動モデルにより捉えたフレーム間の時間的関係を定量化する手法を提案する。 次に、時間的モデリングがどのように影響を受けるかをよりよく理解するために、包括的な実験と詳細な分析を行います。
  論文  参考訳（メタデータ） (2022-04-25T19:06:48Z)
• Learning Self-Modulating Attention in Continuous Time Space with Applications to Sequential Recommendation [102.24108167002252]
  本稿では,複雑で非線形に進化する動的ユーザの嗜好をモデル化する,自己変調型注意ネットワークを提案する。 提案手法がトップNシーケンシャルなレコメンデーションタスクに与える影響を実証的に示すとともに,3つの大規模実世界のデータセットによる結果から,我々のモデルが最先端のパフォーマンスを達成できることを示す。
  論文  参考訳（メタデータ） (2022-03-30T03:54:11Z)
• Duality-Induced Regularizer for Semantic Matching Knowledge Graph Embeddings [70.390286614242]
  本稿では, 類似のセマンティクスを持つエンティティの埋め込みを効果的に促進する新しい正規化器(duality-induced RegulArizer (DURA))を提案する。 実験により、DURAは、最先端のセマンティックマッチングモデルの性能を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2022-03-24T09:24:39Z)
• Does my multimodal model learn cross-modal interactions? It's harder to tell than you might think! [26.215781778606168]
  クロスモーダルモデリングは、視覚的質問応答のようなマルチモーダルタスクにおいて不可欠である。 本稿では,与えられたタスク上でのモデル間の相互作用によって性能が向上するか否かを分離する,新たな診断ツールである経験的多モード付加関数投影(EMAP)を提案する。 7つの画像+テキスト分類タスク(それぞれに新しい最先端のベンチマークを設定した)に対して、多くの場合、モーダル間相互作用を削除することは、パフォーマンスの劣化をほとんど、あるいは全く起こさない。
  論文  参考訳（メタデータ） (2020-10-13T17:45:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。