論文の概要: Residual Dominance as a Structural Account of Last-Item Reliance in Causal Self-Attention Recommenders

• arxiv url: http://arxiv.org/abs/2608.14021v1
• Date: Fri, 14 Aug 2026 07:09:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.301749
• Title: Residual Dominance as a Structural Account of Last-Item Reliance in Causal Self-Attention Recommenders
• Title（参考訳）: 因果自認レコメンデーションにおける最終項目の信頼構造としての残留優位性
• Abstract要約: 我々は,SASRecスタイルのモデルが,局所的な終点依存を示すことを示す。 その後、残余加算は全ブロック表現を同位置寄与に急変させる。 残留強度を変化させると、構造混合と終点依存との間のモノトニックなトレードオフが生じる。
• 参考スコア（独自算出の注目度）: 47.8060666024071
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based sequential recommenders with causal self-attention often rely heavily on the most recent interaction at inference time, but how this behavior is structurally expressed in the representation used for prediction remains unclear. We combine prediction-time diagnostics with norm-based analysis of the full attention block. First, we show that SASRec-style models exhibit highly localized last-item reliance. We then find that, although self-attention aggregates contextual information, residual addition sharply shifts the full-block representation toward same-position contributions, which we term residual dominance. To probe this interpretation, we use inference-time residual scaling as a controlled diagnostic intervention. Changing the residual strength induces a monotonic trade-off between structural mixing and last-item reliance, while reducing residual strength recovers a subset of final-position misses for which representations at non-final positions already rank the ground-truth item correctly. Our results provide a structural account linking extreme last-item reliance to residual dominance at inference time. The code is publicly available.
• Abstract（参考訳）: 因果自己注意を持つトランスフォーマーベースのシーケンシャルレコメンデータは、しばしば推論時の最新の相互作用に大きく依存するが、この振る舞いが予測に使用される表現の中で構造的にどのように表現されるかははっきりしない。 我々は、予測時間診断と全注目ブロックのノルムに基づく分析を組み合わせる。 まず,SASRecスタイルのモデルでは,局所的な終点依存度が高いことを示す。 次に、自己注意は文脈情報を集約するが、残余付加は全ブロック表現を同位置寄与へ急激にシフトさせ、残余支配と呼ぶ。 この解釈を探索するために、制御された診断介入として推論時間残留スケーリングを用いる。 残留強度の変化は、構造混合と終点依存の間のモノトニックトレードオフを誘導する一方、残留強度の低減は、非最終位置での表現が既に接地トラストアイテムを正しくランク付けしている最終配置ミスのサブセットを回復させる。 この結果から, 推定時間における残差支配に極端に依存する構造的記述が得られた。 コードは公開されている。

関連論文リスト

• ResLRP: The Role of Residual Cancellation in Attribution Instability in Vision Transformers [58.411900827911346]
  欠落する成分は,残余接続の治療であることを示す。 ResLRP(Residual-Aware Layer-wise Relevance Propagation)を導入する。 ResLRP は LRP の単純な拡張であり、その伝搬規則は残枝のキャンセルを明示的に考慮している。
  論文  参考訳（メタデータ） (2026-09-15T13:17:30Z)
• The Immutable Past: Formalizing State Mutability and Conflict Resolution in Mutable RAG [0.0]
  本稿では,高密度検索がAsymptotic Recall Decayに苦しむことを証明するために,状態変化のメカニズムを定式化する。 これを解決するために,厳密な推論時間一貫性プロトコルであるGC-Memを導入する。
  論文  参考訳（メタデータ） (2026-09-13T15:28:07Z)
• When Interference Graphs Evolve: Doubly Robust Estimation of Dynamic Peer Effects [1.049126606580198]
  我々は,自己治療,時間的に集約されたピア露光,および課題後の進化の要約によって潜在的な結果をインデックスする制御されたコントラストフレームワークを導入する。 時間分解確率と正規化オーグメンテーションを組み合わせた動的ネットワーク二重ロバスト推定器DynaNet-DRを開発した。
  論文  参考訳（メタデータ） (2026-08-27T14:32:40Z)
• Inference-Time Decision Calibration for Temporal Classification [0.607835026936425]
  一時的な分類誤差は、利用可能な証拠がどのように決定に変換されるかから生じることがある。 本稿では,時間的分類のための表現-校正分解を提案する。
  論文  参考訳（メタデータ） (2026-06-14T22:02:48Z)
• AnchorMoE: Interpretable Time Series Classification via Anchor-Routed MoE [51.994752158953084]
  AnchorMoEは、解釈可能な構成別分類フレームワークである。 ローカルパッチのマルチビュー表現をエンコードし、専門の専門家にルーティングする。 実世界のベンチマークと合成ベンチマークの実験は、AnchorMoEが非常に競争力のある分類性能を達成することを示した。
  論文  参考訳（メタデータ） (2026-06-02T13:30:54Z)
• The Need for an External Observer Formalizing the Sufficiency Gap: A Mathematical Extension of Mixture Identifiability and Contextual Grounding in Sequence Models [0.0]
  我々は、決定論的テキスト構造と、保存されていない潜在状態によって支配される1つのランダム構造を持つ2元混合登録プロセスを構築した。 結果として生じるエントロピー差は通常の最適化誤差ではない。 補正信号は、その忠実度が誤解を招く状態に割り当てられたテキストのみの後方重みを超えると、テキスト履歴によって引き起こされる後続のオッズを正確に反転させる。
  論文  参考訳（メタデータ） (2026-05-26T08:53:11Z)
• Physics-Guided Self-Supervised Statistical Residual Learning for Sonar Despeckling with Improved Generalization [1.9371675344367494]
  本文では, ソナー画像復調のための物理インフォームドな自己教師型フレームワークについて紹介する。 エッジ認識型構造正規化と中央誘導型カリキュラム安定化を併用した分散目標統計損失は、保存された構造忠実度による効果的なスペックル抑制を可能にする。
  論文  参考訳（メタデータ） (2026-05-23T20:07:49Z)
• When Attention Collapses: Residual Evidence Modeling for Compositional Inference [0.0]
  加法的重ね合わせの下では、複数のスロットは同じ支配的成分に収束するが、弱いスロットは表現されない。 本稿では, 余剰エビデンスモデルを導入し, 証拠の枯渇と注意バイアスを併用した最小限の修正を行った。 合成ベンチマークと実世界のオーディオミックスの合計で、エビデンス劣化はスロットの崩壊を最大で1桁減少させる。
  論文  参考訳（メタデータ） (2026-05-04T08:18:02Z)
• Explicit Dropout: Deterministic Regularization for Transformer Architectures [55.09895958546215]
  ドロップアウトはディープラーニングにおいて広く使われている正規化手法であるが、その効果は一般的にマスキングによって実現される。 トレーニング損失に直接組み込まれた加算正則化器としてドロップアウトを表現する決定論的定式化を提案する。
  論文  参考訳（メタデータ） (2026-04-22T12:45:51Z)
• APR: Penalizing Structural Redundancy in Large Reasoning Models via Anchor-based Process Rewards [61.52322047892064]
  テスト時間スケーリング(TTS)は、Large Reasoning Models(LRM)の機能を大幅に強化した。 我々は, LRM が推論過程において最終回答を得た後も, 再検討なしに反復的自己検証を頻繁に行うことを観察した。 本稿では,Anchor-based Process Reward (APR)を提案する。
  論文  参考訳（メタデータ） (2026-01-31T14:53:20Z)
• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。