論文の概要: Explainable AI: Context-Aware Layer-Wise Integrated Gradients for Explaining Transformer Models

• arxiv url: http://arxiv.org/abs/2602.16608v1
• Date: Wed, 18 Feb 2026 17:03:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-19 15:58:30.658782
• Title: Explainable AI: Context-Aware Layer-Wise Integrated Gradients for Explaining Transformer Models
• Title（参考訳）: 説明可能なAI: トランスフォーマーモデルを記述するためのコンテキスト対応レイヤワイズ統合グラディエント
• Authors: Melkamu Abay Mersha, Jugal Kalita,
• Abstract要約: トランスフォーマーモデルは、ドメインやタスク間で最先端のパフォーマンスを達成するが、その深い階層化表現により、予測の解釈が困難になる。 既存の説明可能性法は最終層属性に依存し、局所的なトークンレベルの属性か、統一せずにグローバルな注意パターンをキャプチャする。 本稿では,各トランスフォーマーブロック内の階層的に統合されたグラディエントを計算し,これらのトークンレベルの属性をクラス固有の注意勾配と融合する階層型属性フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 13.707653566827704
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Transformer models achieve state-of-the-art performance across domains and tasks, yet their deeply layered representations make their predictions difficult to interpret. Existing explainability methods rely on final-layer attributions, capture either local token-level attributions or global attention patterns without unification, and lack context-awareness of inter-token dependencies and structural components. They also fail to capture how relevance evolves across layers and how structural components shape decision-making. To address these limitations, we proposed the \textbf{Context-Aware Layer-wise Integrated Gradients (CA-LIG) Framework}, a unified hierarchical attribution framework that computes layer-wise Integrated Gradients within each Transformer block and fuses these token-level attributions with class-specific attention gradients. This integration yields signed, context-sensitive attribution maps that capture supportive and opposing evidence while tracing the hierarchical flow of relevance through the Transformer layers. We evaluate the CA-LIG Framework across diverse tasks, domains, and transformer model families, including sentiment analysis and long and multi-class document classification with BERT, hate speech detection in a low-resource language setting with XLM-R and AfroLM, and image classification with Masked Autoencoder vision Transformer model. Across all tasks and architectures, CA-LIG provides more faithful attributions, shows stronger sensitivity to contextual dependencies, and produces clearer, more semantically coherent visualizations than established explainability methods. These results indicate that CA-LIG provides a more comprehensive, context-aware, and reliable explanation of Transformer decision-making, advancing both the practical interpretability and conceptual understanding of deep neural models.
• Abstract（参考訳）: トランスフォーマーモデルは、ドメインやタスク間で最先端のパフォーマンスを達成するが、その深い階層化表現により、予測の解釈が困難になる。 既存の説明可能性法は最終層属性に依存し、局所的なトークンレベルの属性またはグローバルな注意パターンを統一せずにキャプチャし、相互依存や構造コンポーネントのコンテキスト認識を欠いている。 また、レイヤ間の関連性がどのように進化し、構造的コンポーネントが意思決定を形成するかを把握することができない。 これらの制限に対処するため,各Transformerブロック内の層単位での統合的なグラディエントを計算し,トークンレベルの属性をクラス固有の注意勾配と融合する統合階層型属性フレームワークである,CA-LIGフレームワークを提案した。 この統合は、Transformer層を通しての階層的な関連の流れをトレースしながら、支持的および反対する証拠をキャプチャする、署名付き、文脈に敏感な属性マップを生成する。 我々は,様々なタスク,ドメイン,トランスフォーマモデルファミリーを対象としたCA-LIGフレームワークの評価を行った。例えば,感情分析やBERTを用いた長・多クラス文書分類,XLM-RとAfroLMを用いた低リソース言語設定におけるヘイトスピーチ検出,Masked Autoencoder Vision Transformerモデルによる画像分類などである。 すべてのタスクやアーキテクチャにおいて、CA-LIGはより忠実な属性を提供し、コンテキスト依存に対するより強い感受性を示し、確立された説明可能性メソッドよりも明確でセマンティックに一貫性のある視覚化を生成する。 これらの結果は、CA-LIGがトランスフォーマー決定のより包括的で、文脈に配慮し、信頼性の高い説明を提供し、深いニューラルモデルの実践的解釈可能性と概念的理解を推進していることを示している。

関連論文リスト

• Layer by Layer: Uncovering Hidden Representations in Language Models [28.304269706993942]
  中間層がよりリッチな表現をエンコードできることを示し、ダウンストリームタスクの幅広いパフォーマンスを改善することがよくある。 我々のフレームワークは、各層が情報圧縮と信号保存のバランスをとる方法を強調し、なぜ中層埋め込みが最終層の性能を上回るのかを明らかにする。
  論文  参考訳（メタデータ） (2025-02-04T05:03:42Z)
• Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
  Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。 CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。 本研究は,合成セマンティクス処理とモデル解釈可能性に関する,現在のトランスフォーマーアーキテクチャの基本的制約を明らかにする。
  論文  参考訳（メタデータ） (2024-10-16T18:10:50Z)
• The Mechanics of Conceptual Interpretation in GPT Models: Interpretative Insights [10.777646083061395]
  本稿では,大規模言語モデルにおける概念化機構を明らかにする知識編集の革新的バリエーションである概念編集を紹介する。 我々は、トランスモデルのマルチ層パーセプトロン(MLP)、マルチヘッドアテンション(MHA)、および隠れ状態成分を解析する。 我々の研究は、LLMにおける複雑な階層化されたセマンティック処理の性質と、これらのモデルにおける特定の概念の分離と修正の課題を強調している。
  論文  参考訳（メタデータ） (2024-08-05T18:50:08Z)
• Skip-Layer Attention: Bridging Abstract and Detailed Dependencies in Transformers [56.264673865476986]
  本稿では、Transformerモデルを強化するためのSLA(Skip-Layer Attention)を提案する。 SLAは、高レベルの抽象機能と低レベルの詳細の間の依存関係をキャプチャするモデルの能力を改善します。 我々の実装は、与えられたレイヤ内のクエリが、現在のレイヤと前のレイヤの両方のキーと値とやり取りできるようにすることで、Transformerの機能を拡張します。
  論文  参考訳（メタデータ） (2024-06-17T07:24:38Z)
• Understanding Token-level Topological Structures in Transformer-based Time Series Forecasting [52.364260925700485]
  Transformer-based method has achieved state-of-the-art performance in time series forecasting (TSF) 既存のトランスフォーマーが中間層全体を通してトークン間の固有位相構造を完全に活用しているかどうかは不明である。 トークンレベルのトポロジを明示的にかつ適応的に保存するトランスフォーマーベースの新しいTSF手法であるトポロジ拡張法(TEM)を提案する。
  論文  参考訳（メタデータ） (2024-04-16T07:21:39Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Part-guided Relational Transformers for Fine-grained Visual Recognition [59.20531172172135]
  識別的特徴を学習し,特徴変換モジュールとの相関関係を探索するフレームワークを提案する。 提案手法は,3-of-the-levelオブジェクト認識において,部分ブランチの追加に頼らず,最先端の性能に達する。
  論文  参考訳（メタデータ） (2022-12-28T03:45:56Z)
• SIM-Trans: Structure Information Modeling Transformer for Fine-grained Visual Categorization [59.732036564862796]
  本稿では,オブジェクト構造情報を変換器に組み込んだSIM-Trans(Structure Information Modeling Transformer)を提案する。 提案した2つのモジュールは軽量化されており、任意のトランスフォーマーネットワークにプラグインでき、エンドツーエンドで容易に訓練できる。 実験と解析により,提案したSIM-Transが細粒度視覚分類ベンチマークの最先端性能を達成することを示した。
  論文  参考訳（メタデータ） (2022-08-31T03:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。