論文の概要: When LRP Diverges from Leave-One-Out in Transformers

• arxiv url: http://arxiv.org/abs/2510.18810v1
• Date: Tue, 21 Oct 2025 17:06:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:13.945193
• Title: When LRP Diverges from Leave-One-Out in Transformers
• Title（参考訳）: LRPが変圧器のLeave-One-Outから分岐する時
• Authors: Weiqiu You, Siqi Zeng, Yao-Hung Hubert Tsai, Makoto Yamada, Han Zhao,
• Abstract要約: 本稿では,最近のAttnLRPの進歩に使用される双線形伝搬規則が,実装不変公理に反することを示す。 また,CP-LRPを診断基準として再検討し,ソフトマックス層を経由した関連伝播の回避がLOOとの整合性を大幅に改善することを発見した。
• 参考スコア（独自算出の注目度）: 25.22101448084133
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Leave-One-Out (LOO) provides an intuitive measure of feature importance but is computationally prohibitive. While Layer-Wise Relevance Propagation (LRP) offers a potentially efficient alternative, its axiomatic soundness in modern Transformers remains largely under-examined. In this work, we first show that the bilinear propagation rules used in recent advances of AttnLRP violate the implementation invariance axiom. We prove this analytically and confirm it empirically in linear attention layers. Second, we also revisit CP-LRP as a diagnostic baseline and find that bypassing relevance propagation through the softmax layer -- backpropagating relevance only through the value matrices -- significantly improves alignment with LOO, particularly in middle-to-late Transformer layers. Overall, our results suggest that (i) bilinear factorization sensitivity and (ii) softmax propagation error potentially jointly undermine LRP's ability to approximate LOO in Transformers.
• Abstract（参考訳）: LOO(Leave-One-Out)は、機能の重要性の直感的な尺度を提供するが、計算的に禁止されている。 レイヤワイズ関連伝搬(Layer-Wise Relevance Propagation, LRP)は、潜在的に効率的な代替手段を提供するが、現代のトランスフォーマーの公理的健全性はほとんど検査されていない。 本研究では,AttnLRPの最近の進歩に使用される双線形伝搬規則が,実装不変公理に反することを示す。 我々はこれを解析的に証明し、線形注意層で経験的に確認する。 第2に、CP-LRPを診断基準として再検討し、ソフトマックス層を通しての関連性伝播をバイパスすることで、特に中～後期トランスフォーマー層におけるLOOとのアライメントを大幅に改善することを発見した。 概して、我々の結果は、 一 双線形分解感度及び感度 (II)変圧器のLOOを近似するLPPの能力は,ソフトマックス伝搬誤差によって損なわれる可能性がある。

関連論文リスト

• Optimality and NP-Hardness of Transformers in Learning Markovian Dynamical Functions [32.71332125930795]
  トランスフォーマーアーキテクチャは、インコンテキスト学習(ICL)による所定のプロンプトにおける入出力ペアに基づいて、目に見えないタスクを解決できる マルコフ関数学習の基盤となる最適化動作を明らかにするため,構造化ICL設定によるマルコフ関数学習について検討する。
  論文  参考訳（メタデータ） (2025-10-21T13:42:48Z)
• Bounds of Chain-of-Thought Robustness: Reasoning Steps, Embed Norms, and Beyond [64.88201012057822]
  既存の研究では、CoT(Chain-of-Thought)の出力が入力摂動に大きく影響していることが示されている。 我々は,CoT出力の変動に対する入力摂動の影響を理論的に解析する。
  論文  参考訳（メタデータ） (2025-09-25T15:04:31Z)
• Revisiting LRP: Positional Attribution as the Missing Ingredient for Transformer Explainability [53.21677928601684]
  階層的関連性伝播は、ディープラーニングにおける説明可能性に対する最も有望なアプローチの1つである。 そこで我々は,様々な位置符号化手法にまたがる属性の伝播を目的とした,理論的なLRP規則を提案する。 本手法は,視力とNLP説明可能性の両面において,最先端の課題を著しく上回っている。
  論文  参考訳（メタデータ） (2025-06-02T18:07:55Z)
• In-Context Learning of Linear Dynamical Systems with Transformers: Approximation Bounds and Depth-Separation [14.716318664357408]
  本稿では,雑音の線形力学系群を表す変圧器の文脈内学習能力の近似論的側面について検討する。 最初の理論的結果は、タスク間で一様に定義された$L2$-testing損失に対して、多層変圧器の近似誤差の上限を確立する。 2つ目の結果は、単層線形変圧器のクラスに対する近似誤差の非最小化下界を確立することである。
  論文  参考訳（メタデータ） (2025-02-12T05:40:11Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• XAI for Transformers: Better Explanations through Conservative Propagation [60.67748036747221]
  変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。 我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-15T10:47:11Z)
• Deriving Differential Target Propagation from Iterating Approximate Inverses [91.3755431537592]
  本稿では,各層が学習した逆数に依存するターゲット伝搬の特定の形態が,ガウス-ニュートン勾配に基づく近似最適化に対応する更新規則を導出することを示す。 そこで我々は,各層における局所的自動エンコーダに基づく反復計算について検討し,より正確な目標伝搬のインバージョンを実現する。
  論文  参考訳（メタデータ） (2020-07-29T22:34:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。