論文の概要: Playing the network backward: A Game Theoretic Attribution Framework
- arxiv url: http://arxiv.org/abs/2605.06212v1
- Date: Thu, 07 May 2026 13:15:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.822294
- Title: Playing the network backward: A Game Theoretic Attribution Framework
- Title(参考訳): ネットワークを後方に再生する:ゲーム理論の属性フレームワーク
- Authors: Jakob Paul Zimmermann, Jim Berend, Georg Loho, Sebastian Lapuschkin, Wojciech Samek,
- Abstract要約: 我々は,拡張ネットワークグラフ上で,逆向きの属性を2プレーヤゲームとして再キャストする。
勾配と完全なα-β-LRP族は、特定の平衡の下でのゲーム軌道上の積分として現れる。
ローカライゼーション・フォーカスのような説明の性質はゲーム理論の概念として定義することができる。
- 参考スコア(独自算出の注目度): 20.777506150682452
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Attribution methods explain which input features drive a model's prediction, making them central to model debugging and mechanistic interpretability. Yet backward attribution methods, including gradients, LRP, and transformer-specific rules, lack a shared framework in which to compare the underlying backward calculations. We introduce such a framework by recasting backward attribution as a two-player game on an extended network graph, building on Gaubert and Vlassopoulos' ReLU Net Game. Gradients and the full alpha-beta-LRP family arise as integrals over game trajectories under specific equilibria, so attribution maps become projections of trajectory distributions rather than the primary object. Desired explanation properties, such as localisation focus, robustness to input noise, or stable attention routing, can be specified as game-theoretic concepts, including policy regularization, risk aversion, and extended action sets, and translate directly into novel adaptations of the well-known backward rules. On ViT-B/16, one such selected adaptation of alpha-beta-LRP outperforms prior transformer-specific backward methods across all considered localisation metrics.
- Abstract(参考訳): 属性メソッドは、どの入力機能がモデルの予測を駆動するかを説明し、モデルデバッグと機械的解釈可能性の中心となる。
しかし、勾配、LRP、トランスフォーマー固有のルールを含む後方帰属法では、下位の後方計算を比較するための共有フレームワークが欠如している。
本稿では,Gaubert と Vlassopoulos の ReLU Net Game 上に構築した,拡張ネットワークグラフ上の2プレーヤゲームとして,後方属性を再キャストすることで,そのようなフレームワークを導入する。
勾配と完全なα-β-LRP族は、特定の平衡の下でのゲーム軌道上の積分として生じるので、帰属写像は一次対象ではなく軌道分布の射影となる。
局所化焦点、入力ノイズに対するロバスト性、安定したアテンションルーティングなどは、ポリシー正則化、リスク回避、拡張アクションセットといったゲーム理論の概念として定義することができ、よく知られた後方ルールの新たな適応に直接変換することができる。
ViT-B/16では、α-β-LRPのそのような選択された適応が、すべての検討されたローカライゼーションメトリクスにわたって、トランスフォーマー固有の後方メソッドよりも優れている。
関連論文リスト
- Score-Guided Proximal Projection: A Unified Geometric Framework for Rectified Flow Editing [1.0312968200748118]
Rectified Flowモデルは最先端の世代品質を実現するが、正確なタスクのためにそれらを制御することは依然として困難である。
現在のアプローチは「幾何学的ロック」に苦しむ逆法に基づくガイダンスに分岐する
Score-Guided Proximal Projectionは,決定論的最適化と縮尺サンプリングのギャップを埋める統一フレームワークである。
論文 参考訳(メタデータ) (2026-03-05T23:44:45Z) - FluenceFormer: Transformer-Driven Multi-Beam Fluence Map Regression for Radiotherapy Planning [4.066732323672965]
textbfFluenceFormerは、直接的かつ幾何学的に認識されるフレンス回帰のための、バックボーンに依存しないトランスフォーマーフレームワークである。
Swin UNETRを使用したFluenceFormerは、評価されたモデルの中で最強のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2025-12-27T01:12:15Z) - A Turn Toward Better Alignment: Few-Shot Generative Adaptation with Equivariant Feature Rotation [67.2019317630466]
少ない撮影画像生成は、ごく少数の訓練画像を用いて、ソース生成モデルをターゲット領域に効果的に適応することを目的としている。
Equivariant Feature Rotation (EFR) は、ソースドメインとターゲットドメインを2つの相補的なレベルで整列させる新しい適応戦略である。
本手法は,対象領域内の生成性能を著しく向上させる。
論文 参考訳(メタデータ) (2025-12-24T13:48:22Z) - SelfAug: Mitigating Catastrophic Forgetting in Retrieval-Augmented Generation via Distribution Self-Alignment [49.86376148975563]
大規模言語モデル(LLM)は、様々なタスクを理解し実行する能力を通じて自然言語処理に革命をもたらした。
教師付き微調整、特にRetrieval-Augmented Generation (RAG)のシナリオでは、しばしば破滅的な忘れが生じる。
本稿では,モデルのセマンティック分布を保存するために,入力シーケンスロジットをアライメントする自己分布アライメント手法であるSelfAugを提案する。
論文 参考訳(メタデータ) (2025-09-04T06:50:47Z) - Revisiting LRP: Positional Attribution as the Missing Ingredient for Transformer Explainability [53.21677928601684]
階層的関連性伝播は、ディープラーニングにおける説明可能性に対する最も有望なアプローチの1つである。
そこで我々は,様々な位置符号化手法にまたがる属性の伝播を目的とした,理論的なLRP規則を提案する。
本手法は,視力とNLP説明可能性の両面において,最先端の課題を著しく上回っている。
論文 参考訳(メタデータ) (2025-06-02T18:07:55Z) - Two failure modes of deep transformers and how to avoid them: a unified theory of signal propagation at initialisation [8.973965016201822]
ニューラルネットワークの適切な初期化を見つけることは、スムーズなトレーニングと優れたパフォーマンスを保証するために不可欠である。
トランスフォーマーでは、間違った初期化は、ランク崩壊、すべてのトークンが同様の表現に崩壊するランク崩壊、エントロピー崩壊、高度に集中した注意スコアが不安定になる2つの失敗モードの1つにつながる可能性がある。
ここでは、自己アテンション、層正規化、スキップ接続、勾配を有する深層変圧器による信号伝搬の解析理論を提案する。
論文 参考訳(メタデータ) (2025-05-30T08:18:23Z) - Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。
本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。
我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
論文 参考訳(メタデータ) (2025-05-21T07:16:44Z) - RSPO: Regularized Self-Play Alignment of Large Language Models [54.593523736962]
Regularized Self-Play Policy Optimization (RSPO) は、事前のメソッドを統一し、様々な正規化ツールのプラグイン・アンド・プレイ統合を可能にする汎用的でモジュール化されたフレームワークである。
20ドル以上の微調整Mistral-7B-Instructモデルに関する実証研究により、前方KL偏差正規化は応答長を減少させる一方、逆KL偏差は生の利得率を著しく向上させることが明らかとなった。
論文 参考訳(メタデータ) (2025-02-24T22:43:21Z) - On the Effect of Initialization: The Scaling Path of 2-Layer Neural
Networks [21.69222364939501]
教師付き学習では、正規化経路はゼロからの勾配降下の最適化経路の便利な理論的プロキシとして用いられることがある。
この経路がカーネルとリッチレジームの間に連続的に補間されていることを示す。
論文 参考訳(メタデータ) (2023-03-31T05:32:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。