論文の概要: Revisiting LRP: Positional Attribution as the Missing Ingredient for Transformer Explainability

• arxiv url: http://arxiv.org/abs/2506.02138v1
• Date: Mon, 02 Jun 2025 18:07:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.92844
• Title: Revisiting LRP: Positional Attribution as the Missing Ingredient for Transformer Explainability
• Title（参考訳）: LRPの再検討:変圧器説明可能性の欠如としての位置属性
• Authors: Yarden Bakish, Itamar Zimerman, Hila Chefer, Lior Wolf,
• Abstract要約: 階層的関連性伝播は、ディープラーニングにおける説明可能性に対する最も有望なアプローチの1つである。 そこで我々は,様々な位置符号化手法にまたがる属性の伝播を目的とした,理論的なLRP規則を提案する。 本手法は,視力とNLP説明可能性の両面において,最先端の課題を著しく上回っている。
• 参考スコア（独自算出の注目度）: 53.21677928601684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The development of effective explainability tools for Transformers is a crucial pursuit in deep learning research. One of the most promising approaches in this domain is Layer-wise Relevance Propagation (LRP), which propagates relevance scores backward through the network to the input space by redistributing activation values based on predefined rules. However, existing LRP-based methods for Transformer explainability entirely overlook a critical component of the Transformer architecture: its positional encoding (PE), resulting in violation of the conservation property, and the loss of an important and unique type of relevance, which is also associated with structural and positional features. To address this limitation, we reformulate the input space for Transformer explainability as a set of position-token pairs. This allows us to propose specialized theoretically-grounded LRP rules designed to propagate attributions across various positional encoding methods, including Rotary, Learnable, and Absolute PE. Extensive experiments with both fine-tuned classifiers and zero-shot foundation models, such as LLaMA 3, demonstrate that our method significantly outperforms the state-of-the-art in both vision and NLP explainability tasks. Our code is publicly available.
• Abstract（参考訳）: トランスフォーマーのための効果的な説明可能性ツールの開発は、ディープラーニング研究において極めて重要である。 この領域で最も有望なアプローチの1つはレイヤワイド・レバレンス・プロパゲーション (LRP) であり、事前定義されたルールに基づいてアクティベーション値を再分配することにより、ネットワークを通して入力空間に関連度スコアを伝達する。 しかし、トランスフォーマーの説明可能性に関する既存のLPPベースの手法は、その位置符号化(PE)によって保存性が損なわれ、また、構造的および位置的特徴とも結びついている重要かつユニークな関連性を失うという、トランスフォーマーアーキテクチャの重要な構成要素を完全に見落としている。 この制限に対処するため、Transformer説明可能性の入力空間を位置対応ペアの集合として再構成する。 これにより、ロタリー、Learable、Absolute PEなど、様々な位置符号化手法で属性を伝達する特化理論的なLRPルールを提案することができる。 LLaMA 3のような細調整された分類器とゼロショット基礎モデルの両方による大規模な実験により、我々の手法は視覚およびNLP説明可能性の両タスクにおいて、最先端の手法を著しく上回ることを示した。 私たちのコードは公開されています。

関連論文リスト

• PaTH Attention: Position Encoding via Accumulating Householder Transformations [56.32365080761523]
  PaTHは、ハウステリア変換の累積積に基づいて、フレキシブルなデータ依存位置符号化方式である。 家庭用行列の積をコンパクトに表現することで,効率的な並列学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-05-22T08:36:09Z)
• Unpacking Positional Encoding in Transformers: A Spectral Analysis of Content-Position Coupling [10.931433906211534]
  ポジショナルエンコーディング(PE)は、トランスフォーマーがシーケンシャルな構造をモデル化できるようにするために不可欠である。 本稿では,Toeplitzと関連する行列のスペクトル特性からPEを解析する統一フレームワークを提案する。 我々は, PE設計の鍵となる原理として, 相対配置Toeplitz信号を用いた明示的コンテンツ相対混合を確立する。
  論文  参考訳（メタデータ） (2025-05-19T12:11:13Z)
• DAPE V2: Process Attention Score as Feature Map for Length Extrapolation [63.87956583202729]
  我々は特徴写像としての注意を概念化し、コンピュータビジョンにおける処理方法を模倣するために畳み込み演算子を適用した。 様々な注意関係のモデルに適応できる新しい洞察は、現在のTransformerアーキテクチャがさらなる進化の可能性があることを示している。
  論文  参考訳（メタデータ） (2024-10-07T07:21:49Z)
• AttnLRP: Attention-Aware Layer-Wise Relevance Propagation for Transformers [14.147646140595649]
  大きな言語モデルは、バイアスのある予測と幻覚の傾向があります。 ブラックボックストランスモデルの完全性への忠実な貢献と計算効率の維持は未解決の課題である。
  論文  参考訳（メタデータ） (2024-02-08T12:01:24Z)
• Learning a Fourier Transform for Linear Relative Positional Encodings in Transformers [71.32827362323205]
  我々はLearner-Transformer (Learners)と呼ばれる線形変換器の新しいクラスを提案する。 様々な相対的位置エンコーディング機構(RPE)を組み込んでいる。 これらには、シーケンシャルデータに適用される正規の RPE 技術や、高次元ユークリッド空間に埋め込まれた幾何学的データを操作する新しい RPE などが含まれる。
  論文  参考訳（メタデータ） (2023-02-03T18:57:17Z)
• Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
  連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。 RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。 我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
  論文  参考訳（メタデータ） (2022-05-26T14:51:30Z)
• XAI for Transformers: Better Explanations through Conservative Propagation [60.67748036747221]
  変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。 我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-15T10:47:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。