論文の概要: LIG: Layer-wise Integrated Gradients for Within-Layer Flow Analysis in Transformers

• arxiv url: http://arxiv.org/abs/2606.21564v1
• Date: Fri, 19 Jun 2026 16:02:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 12:41:49.943887
• Title: LIG: Layer-wise Integrated Gradients for Within-Layer Flow Analysis in Transformers
• Title（参考訳）: LIG:変圧器の層内流れ解析のための層ワイド積分勾配
• Authors: Eight Suzuki, Hideitsu Hino, Noboru Murata,
• Abstract要約: 変換器は高い性能を達成するが、内部計算は不透明である。 我々は各トランスフォーマー層をトークン表現と頭当たりのアテンション出力がモジュール境界である動的なグラフとみなす。 LIG (Layer-wise Integrated Gradients) は、非線形モジュール境界において、セット・ツー・セットのIntegrated Gradients (IG) を適用する。
• 参考スコア（独自算出の注目度）: 2.4979265575631766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers achieve strong performance, but their internal computations remain opaque. We view each Transformer layer as a dynamic graph whose nodes are token representations and per-head attention outputs, with Multi-Head Attention (ATT) and MLP as module boundaries. On this graph we use LIG (Layer-wise Integrated Gradients), which applies set-to-set Integrated Gradients (IG) at nonlinear module boundaries. Set-to-set IG applies IG to a map from a set of input token representations to a set of output representations, evaluating token-to-token contributions, which is not standard in prior IG applications. This extends IG from the usual scalar-objective setting to set-to-set maps via an L2 scalarization, and composes within-layer contributions in the spirit of Layer-wise Relevance Propagation (LRP), with IG completeness playing the role of LRP-style conservation at each boundary. We use LIG to analyze (i) the agreement between module-wise composition and layer-whole attribution under an L2 criterion, and (ii) within-layer information flow by tracing separated ATT and MLP contributions. On BERT-base and PTB, configurations that best preserved within-layer consistency used the target token's embedding as the ATT baseline and either the ATT output at a=0 or Zero as the MLP baseline. We therefore present LIG as a diagnostic XAI tool at module-boundary granularity, without model-specific retraining or per-operation interpreter design. Code is available at https://github.com/eightsuzuki/layer-wise-integrated-gradients.
• Abstract（参考訳）: 変換器は高い性能を達成するが、内部計算は不透明である。 我々は,各トランスフォーマー層を,ノードがトークン表現と頭部毎のアテンション出力を持つ動的グラフとみなし,マルチヘッドアテンション(ATT)とMLPをモジュール境界とする。 このグラフでは、LIG (Layer-wise Integrated Gradients) を用いて、非線形モジュール境界にセット・トゥ・セット統合グラディエント (IG) を適用する。 Set-to-set IGは、入力トークン表現のセットから出力表現のセットへのマップにIGを適用し、トークンからトークンへのコントリビューションを評価する。 これにより、IGは通常のスカラーオブジェクト設定からL2スカラー化によるセット・ツー・セットマップへと拡張され、レイヤワイド・レバレンス・プロパゲーション(LRP)の精神における層内コントリビューションを構成する。 私たちはLIGを使って分析します 一 モジュール単位の組成とL2基準による層単位の属性との一致 (II)分離されたATTとMPPのコントリビューションの追跡による層内情報フロー。 BERTベースとTBでは、層内一貫性を最もよく保持する構成では、ターゲットトークンの埋め込みをATTベースラインとして使用し、ATT出力を a=0 または Zero で MLPベースラインとして使用した。 そこで我々は,LIGをモジュール境界粒度の診断用XAIツールとして,モデル固有のリトレーニングや操作単位のインタプリタ設計なしで提供する。 コードはhttps://github.com/eightsuzuki/layer-wise-integrated-gradientsで入手できる。

関連論文リスト

• SPG: Sparse-Projected Guides with Sparse Autoencoders for Zero-Shot Anomaly Detection [8.546110867731993]
  凍結基礎モデル特徴を用いたゼロショット異常検出とセグメンテーションについて検討した。 学習可能なパラメータはすべて、ラベル付き補助データセットでのみトレーニングされる。 Sparse-Projected Guides (SPG)は、スパースオートエンコーダ(SAE)潜在空間におけるスパースガイド係数を学習する。
  論文  参考訳（メタデータ） (2026-04-03T08:37:44Z)
• Semi-supervised Instruction Tuning for Large Language Models on Text-Attributed Graphs [62.544129365882014]
  本稿では,SIT-Graph というグラフ学習用セミ教師付きインストラクションチューニングパイプラインを提案する。 SIT-Graphはモデルに依存しず、LSMを予測子として利用するグラフ命令チューニングメソッドにシームレスに統合することができる。 SIT-Graphは、最先端グラフチューニング手法に組み込むと、テキスト分散グラフベンチマークの性能を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2026-01-19T08:10:53Z)
• Grad-ELLM: Gradient-based Explanations for Decoder-only LLMs [52.15785423211181]
  Grad-ELLMは、デコーダのみをベースとした大規模言語モデルのための勾配に基づく属性法である。 我々は、より公平な比較を提供する2つの忠実度指標$-Soft-NCと$-Soft-NSを導入する。 実験の結果,Grad-ELLMは他の属性法よりも優れた忠実性が得られることがわかった。
  論文  参考訳（メタデータ） (2026-01-06T15:22:39Z)
• Visualizing LLM Latent Space Geometry Through Dimensionality Reduction [0.0]
  我々は,トランスフォーマーに基づく言語モデルにおける潜在状態空間を次元的還元により抽出し,プロセスし,可視化する。 我々はGPT-2およびLLaMaモデルの実験を行い、潜在空間における興味深い幾何学的パターンを明らかにする。
  論文  参考訳（メタデータ） (2025-11-26T17:11:39Z)
• GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning [50.40400074353263]
  グラフニューラルネットワーク(GNN)は、リレーショナルデータを先行する強力なツールであるが、しばしば目に見えないグラフに一般化するのに苦労する。 textbfGraph textbfIn-context textbfL textbfTransformer (GILT)を導入する。
  論文  参考訳（メタデータ） (2025-10-06T08:09:15Z)
• LASE: Learned Adjacency Spectral Embeddings [9.227991604045416]
  グラフ入力から結節隣接スペクトル埋め込み(ASE)を学習する。 LASEは解釈可能で、パラメータ効率が高く、未観測のエッジを持つ入力に対して堅牢である。 LASEレイヤは、Graph Convolutional Network (GCN)と完全に接続されたGraph Attention Network (GAT)モジュールを組み合わせる。
  論文  参考訳（メタデータ） (2024-12-23T17:35:19Z)
• GL-Fusion: Rethinking the Combination of Graph Neural Network and Large Language model [63.774726052837266]
  グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を深く統合した新しいアーキテクチャを導入する。 本稿では,(1)GNNのメッセージパッシング機能を直接LLMのトランスフォーマー層に組み込む構造対応トランスフォーマー,(2)グラフノードとエッジから圧縮されていない全テキストを処理するグラフテキストクロスアテンション,(3)GNN-LLMツインプレクタ,(3)GNN-LLMツインプレクタ,3)GNNのスケーラブルなワンパス予測とともに,LLMの柔軟な自己回帰生成を実現する。
  論文  参考訳（メタデータ） (2024-12-08T05:49:58Z)
• How to Make LLMs Strong Node Classifiers? [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• Latent Space Perspicacity and Interpretation Enhancement (LS-PIE) Framework [0.0]
  本稿では,線形潜在空間の解釈可能性向上のための潜在空間表現を強化するための一般的な枠組みを提案する。 この論文のコンセプトは言語に依存しないが、フレームワークはPythonで記述されている。 ラテント・ランキング(LR)、ラテント・スケーリング(LS)、ラテント・クラスタリング(LC)、ラテント・コンデンシング(LCON)など、いくつかの革新的な拡張が組み込まれている。
  論文  参考訳（メタデータ） (2023-07-11T03:56:04Z)
• Learning to Learn Better for Video Object Segmentation [94.5753973590207]
  本稿では,SVOS の学習目標機能 (LLB) を強調する新しいフレームワークを提案する。 識別ラベル生成モジュール(DLGM)と適応融合モジュールを設計し,これらの課題に対処する。 提案手法は最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-12-05T09:10:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。