論文の概要: Grad-ELLM: Gradient-based Explanations for Decoder-only LLMs

• arxiv url: http://arxiv.org/abs/2601.03089v1
• Date: Tue, 06 Jan 2026 15:22:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:12.987893
• Title: Grad-ELLM: Gradient-based Explanations for Decoder-only LLMs
• Title（参考訳）: Grad-ELLM:デコーダのみのLLMのためのグラディエントベース記述法
• Authors: Xin Huang, Antoni B. Chan,
• Abstract要約: Grad-ELLMは、デコーダのみをベースとした大規模言語モデルのための勾配に基づく属性法である。 我々は、より公平な比較を提供する2つの忠実度指標$-Soft-NCと$-Soft-NSを導入する。 実験の結果,Grad-ELLMは他の属性法よりも優れた忠実性が得られることがわかった。
• 参考スコア（独自算出の注目度）: 52.15785423211181
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities across diverse tasks, yet their black-box nature raises concerns about transparency and faithfulness. Input attribution methods aim to highlight each input token's contributions to the model's output, but existing approaches are typically model-agnostic, and do not focus on transformer-specific architectures, leading to limited faithfulness. To address this, we propose Grad-ELLM, a gradient-based attribution method for decoder-only transformer-based LLMs. By aggregating channel importance from gradients of the output logit with respect to attention layers and spatial importance from attention maps, Grad-ELLM generates heatmaps at each generation step without requiring architectural modifications. Additionally, we introduce two faithfulneses metrics $π$-Soft-NC and $π$-Soft-NS, which are modifications of Soft-NC/NS that provide fairer comparisons by controlling the amount of information kept when perturbing the text. We evaluate Grad-ELLM on sentiment classification, question answering, and open-generation tasks using different models. Experiment results show that Grad-ELLM consistently achieves superior faithfulness than other attribution methods.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示してきたが、そのブラックボックスの性質は透明性と忠実さに対する懸念を引き起こしている。 入力属性法は、入力トークンのモデル出力への貢献を強調することを目的としているが、既存のアプローチはモデルに依存しず、トランスフォーマー固有のアーキテクチャに焦点を合わせていないため、忠実さは限られている。 そこで本研究では,デコーダのみの変圧器を用いたLLMのための勾配型属性法であるGrad-ELLMを提案する。 注意層に対する出力ロジットの勾配と注意マップからの空間的重要性からチャネルの重要性を集約することにより、Grad-ELLMはアーキテクチャ変更を必要とせず、各生成ステップでヒートマップを生成する。 さらに,2つの忠実度指標である$π$-Soft-NCと$π$-Soft-NSを導入する。 我々は、感情分類、質問応答、様々なモデルを用いたオープンソースタスクについてGrad-ELLMを評価した。 実験の結果,Grad-ELLMは他の属性法よりも優れた忠実性が得られることがわかった。

関連論文リスト

• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• GradMetaNet: An Equivariant Architecture for Learning on Gradients [27.271084807773107]
  勾配学習のための新しいアーキテクチャであるGradMetaNetを紹介する。 また,GradMetaNet に対して,従来の手法では自然勾配関数を近似できないことを示す。 次に,GradMetaNetの有効性を,勾配に基づくタスクの多種多様なセットで実証する。
  論文  参考訳（メタデータ） (2025-07-02T12:22:39Z)
• LibraGrad: Balancing Gradient Flow for Universally Better Vision Transformer Attributions [17.88069510398486]
  勾配に基づく説明はトランスフォーマーと競合する。 CNNが自然に持つ帰属勾配の重要な特性であるFullGrad完全性に反するトランスフォーマーのフロー不均衡を同定する。 私たちはLibraGradを紹介します。これは理論的に基礎付けられたポストホックアプローチで、プルーニングと後方経路のスケーリングによって勾配の不均衡を補正します。
  論文  参考訳（メタデータ） (2024-11-24T15:02:52Z)
• Classifier-guided Gradient Modulation for Enhanced Multimodal Learning [50.7008456698935]
  Gradient-Guided Modulation (CGGM) は,マルチモーダル学習と勾配のバランスをとる新しい手法である。 UPMC-Food 101, CMU-MOSI, IEMOCAP, BraTSの4つのマルチモーダルデータセットについて広範な実験を行った。 CGGMはすべてのベースラインや最先端のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2024-11-03T02:38:43Z)
• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [56.00251589760559]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。 実験により、LM-GCは既存の最先端のロスレス圧縮手法を超越していることが示された。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• No Train, all Gain: Self-Supervised Gradients Improve Deep Frozen Representations [30.9134119244757]
  FUNGIは、自己教師付き勾配を利用してトランスフォーマーエンコーダの特徴を高める方法である。 事前訓練されたモデルがあれば、まず入力毎に様々な自己教師対象からの勾配を計算します。 得られた特徴は、視覚からの11データセット、自然言語処理からの5データセット、オーディオからの2データセットの k-nearest 隣の分類に基づいて評価される。
  論文  参考訳（メタデータ） (2024-07-15T17:58:42Z)
• Enhancing Large Language Model Performance with Gradient-Based Parameter Selection [32.88329156118533]
  Gradient-Mask Tuning (GMT) は、勾配情報に基づいてトレーニング中のパラメータを選択的に更新する手法である。 実験により, GMTは従来の微調整法に勝るだけでなく, LLM性能の上限も高めることを示した。
  論文  参考訳（メタデータ） (2024-06-21T17:42:52Z)
• Contextual Gradient Scaling for Few-Shot Learning [24.19934081878197]
  モデルに依存しないメタラーニング(MAML)のための文脈勾配スケーリング(CxGrad)を提案する。 CxGradは、インナーループにおけるタスク固有の知識の学習を容易にするために、バックボーンの勾配ノルムをスケールする。 実験の結果,CxGradは内ループにおけるタスク固有の知識の学習を効果的に促すことが示された。
  論文  参考訳（メタデータ） (2021-10-20T03:05:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。