論文の概要: IG-Lens: Exact Additive Probability Attribution Across Transformer Layers via Telescoping Integrated Gradients

• arxiv url: http://arxiv.org/abs/2606.29693v2
• Date: Tue, 30 Jun 2026 01:27:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 13:50:27.726058
• Title: IG-Lens: Exact Additive Probability Attribution Across Transformer Layers via Telescoping Integrated Gradients
• Title（参考訳）: IG-Lens:Telescoping統合勾配を用いた変圧器層間の特殊付加確率属性
• Abstract要約: 私たちはデコーダのみのトランスフォーマーについて単純な質問をする:どちらの2つの層が実際に生成された予測トークンの確率なのか? 既存のレイヤ単位の読み出しツールは、ほとんど答えない。 IG-Lensは,ベースラインから最終層への隠れ状態を通る単一の経路に沿って,統合勾配のテレスコープアプリケーションである。
• 参考スコア（独自算出の注目度）: 4.619541348328937
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We ask a simple question about decoder-only transformers: between which two layers is the probability of a predicted token actually produced? Existing layer-wise readout tools answer only approximately. The logit lens and its trained variant report a per-layer level of probability but give no additive decomposition; their estimates are biased and non-monotone across depth. Direct Logit Attribution and related residual-stream methods are additive, but only in logit space, the softmax nonlinearity breaks additivity in probability space, precisely the quantity one usually cares about. Layer Conductance integrates gradients per layer, but attributes each to its own baseline and so does not sum to the total change in prediction. We introduce IG-Lens, a telescoping application of Integrated Gradients along a single path through the hidden states from a baseline to the final layer. Crediting each segment to the layer it terminates at yields a layer-wise attribution whose sum is exactly the change in target probability, with the softmax inside the integration path rather than linearized away. Our default estimator credits each integration step its observed change in target probability (a prediction-aware reweighting in the spirit of IDGI) rather than its raw gradient. Because the readout is a one-dimensional probability, this collapses each segment to a telescoping sum of endpoint values, so completeness holds exactly (to floating point) at any step count, removing Riemann discretization error while suppressing steps that show gradient sensitivity without a change in output. We give the telescoping identity and its proof, verify completeness to floating point, and describe a single-pass batched implementation computing the full token-by-layer map without any backward call. Code: https://github.com/anhnda/IGLens.
• Abstract（参考訳）: 私たちはデコーダのみのトランスフォーマーについて単純な質問をする:どちらの2つの層が実際に生成された予測トークンの確率なのか? 既存のレイヤ単位の読み出しツールは、ほとんど答えない。 ロジットレンズとその訓練された変種は、層ごとの確率は報告するが、付加的な分解は与えない。 直接ロジット属性および関連する残留ストリーム法は加法的であるが、ロジット空間において、ソフトマックス非線形性は確率空間における加法性を破る。 レイヤコンダクタンス(Layer Conductance)は、レイヤ毎の勾配を統合するが、それぞれが独自のベースラインに属性を持つため、予測の全体的な変化を和らげることはできない。 IG-Lensは,ベースラインから最終層への隠れ状態を通る単一の経路に沿って,統合勾配のテレスコープアプリケーションである。 層に各セグメントを割り当てると、その合計はちょうど目標確率の変化であり、積分経路内のソフトマックスは線形化されるのではなく、階層的に帰属する。 我々のデフォルト推定器は、観測対象の確率の変化(IDGIの精神の再重み付け)を、生の勾配ではなく、それぞれの積分のステップで行う。 読み出しは1次元の確率であるため、各セグメントはエンドポイント値のテレスコープ和に崩壊するため、完全性は任意のステップカウントで正確に(浮動小数点まで)保持され、出力の変化なしに勾配感度を示すステップを抑えながらリーマンの離散誤差を除去する。 我々はテレスコープのアイデンティティとその証明を与え、浮動小数点への完全性を検証し、後方呼び出しなしで完全なトークン・バイ・レイヤ・マップを計算した単一パスバッチ実装を記述する。 コード:https://github.com/anhnda/IGLens.com

関連論文リスト

• Optimization Geometrodynamics: Variational Reduction and Interaction Curvature [0.0]
  我々は、この隠れ行列式プッシュフォワードの変分理論として、測地力学を発展させる。 アフィン事前還元の場合、誘導的相互作用曲率(英語版)は負半有限作用素 $-G*H-1G$ である。 閉全測地線ファイバーを持つ大域的解析バンドルと、特異な解析的近接制御器部とを証明した。
  論文  参考訳（メタデータ） (2026-07-07T18:42:00Z)
• Is Spurious Correlation Removal Always Learnable? [56.28155520961125]
  不変学習は、構造が統計的に識別可能であっても失敗することがある。 ブラックボックスサンプリング可能な教師付きスパースリカバリプリミティブの下では、実証可能な多次元環境が存在する。 合成および実際のデータセットは、予測されたギャップと遷移を示し、単純な多様性診断を動機付ける。
  論文  参考訳（メタデータ） (2026-06-11T05:49:43Z)
• Reading Calibrated Uncertainty from Language Model Trajectories [46.663987199083245]
  モデルの内部アクティベーションを調査する手法は、生の隠れた状態を不透明なスナップショットにフィードし、表現が形成される層回りの軌跡を暗黙的に残す。 我々は11のスケール不変な幾何学的特徴を抽出し、層ごとの更新の累積経路をトレースし、それらをスパース線形プローブに供給する。 このプローブは、最大21のAURCポイントでベースラインスケーリングを行い、選択的な棄権下でMPPより優れる。
  論文  参考訳（メタデータ） (2026-05-19T19:24:29Z)
• Towards Scalable Persistence-Based Topological Optimization [44.16669776030478]
  永続性に基づく位相最適化は、点クラウド $X の部分集合 mathbbRd$ を $L(X) = ell(mathrmDgm(X))$ という形の目的を最小化することによって変形する。 実際、最適化は2つの結合した問題によって制限される: 永続ホモロジーは典型的にはサブサンプル上で計算され、結果として生じる位相勾配は非常にスパースであり、非ゼロ更新を受けるアンカーポイントはわずかである。
  論文  参考訳（メタデータ） (2026-05-09T15:47:20Z)
• Flatness and Gradient Alignment Are Both Necessary: Spectral-Aware Gradient-Aligned Exploration for Multi-Distribution Learning [7.794885131732119]
  マルチディストリビューション・ラーニング・セッティングにおいて,平坦性と勾配のアライメントを考慮すべきであることを示す。 両用語を対象とするSAGE(Spectral-Aware Gradient-Aligned Exploration)を提案する。 5つの領域一般化と2つのマルチタスク学習ベンチマーク実験により,提案手法が新たな最先端技術を確立することを示す。
  論文  参考訳（メタデータ） (2026-05-08T15:52:34Z)
• Training Non-Differentiable Networks via Optimal Transport [1.5229257192293202]
  PolyStepは、フォワードパスのみを使用してパラメータを更新する、勾配のないメソッドである。 我々は、既存の勾配のない手法がほぼランダムな精度で崩壊する真に微分不可能なモデルを訓練する。 ハードLIFスパイクネットワークでは、93.4%の精度に達し、全ての勾配のないベースラインを60pp以上上回り、サロゲート勾配のアダム天井の4.4pp以内に閉じる。
  論文  参考訳（メタデータ） (2026-05-03T15:20:56Z)
• FedIA: A Plug-and-Play Importance-Aware Gradient Pruning Aggregation Method for Domain-Robust Federated Graph Learning on Node Classification [4.544368428086142]
  ドメインスキュー下でのフェデレーショングラフラーニング(FGL) -- emphTwitch GamersやマルチリンガルのemphWikipediaネットワークなどのプラットフォームで見られる — は、クライアントモデルを互換性のない表現に向けて推進し、不安定かつ非効率なアグリゲーションをレンダリングする。 基礎線法を実証的に解析した結果, 勾配次元の大部分が領域固有の分散によって支配されることが示唆された。
  論文  参考訳（メタデータ） (2025-09-17T13:04:11Z)
• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• How to guess a gradient [68.98681202222664]
  我々は、勾配が以前考えられていたよりもより構造化されていることを示す。 この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。 厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
  論文  参考訳（メタデータ） (2023-12-07T21:40:44Z)
• Bridging Discrete and Backpropagation: Straight-Through and Beyond [62.46558842476455]
  本稿では,離散潜在変数の生成に関わるパラメータの勾配を近似する新しい手法を提案する。 本稿では,Hunの手法とODEを解くための2次数値法を統合することで,2次精度を実現するReinMaxを提案する。
  論文  参考訳（メタデータ） (2023-04-17T20:59:49Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins [92.7662890047311]
  勾配降下は、分類誤差$tilde O(mathsfOPT1/2) + varepsilon$ in $mathrmpoly(d,1/varepsilon)$ time and sample complexity.
  論文  参考訳（メタデータ） (2020-10-01T16:48:33Z)
• Deriving Differential Target Propagation from Iterating Approximate Inverses [91.3755431537592]
  本稿では,各層が学習した逆数に依存するターゲット伝搬の特定の形態が,ガウス-ニュートン勾配に基づく近似最適化に対応する更新規則を導出することを示す。 そこで我々は,各層における局所的自動エンコーダに基づく反復計算について検討し,より正確な目標伝搬のインバージョンを実現する。
  論文  参考訳（メタデータ） (2020-07-29T22:34:45Z)
• Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
  本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。 我々は、測定値の低減を行う降下ステップを適応的に選択する。 これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
  論文  参考訳（メタデータ） (2020-06-02T17:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。