論文の概要: Rethink Baseline of Integrated Gradients from the Perspective of Shapley
Value
- arxiv url: http://arxiv.org/abs/2310.04821v2
- Date: Tue, 10 Oct 2023 06:25:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 15:15:06.479228
- Title: Rethink Baseline of Integrated Gradients from the Perspective of Shapley
Value
- Title(参考訳): 共有価値の観点からの統合的勾配のベースラインを再考する
- Authors: Shuyang Liu, Zixuan Chen, Ge Shi, Ji Wang, Changjie Fan, Yu Xiong,
Runze Wu Yujing Hu, Ze Ji, Yang Gao
- Abstract要約: そこで我々はShapley Integrated Gradientsと呼ばれる新しいベースライン構築手法を提案する。
SIGは、シェープ値の経路を部分的にシミュレートするために、比例サンプリングによってベースラインの集合を探索する。
様々な画像タスクで行った実験は、SIGが特徴の寄与度を改善したことを示している。
- 参考スコア(独自算出の注目度): 32.37860708840187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Numerous approaches have attempted to interpret deep neural networks (DNNs)
by attributing the prediction of DNN to its input features. One of the
well-studied attribution methods is Integrated Gradients (IG). Specifically,
the choice of baselines for IG is a critical consideration for generating
meaningful and unbiased explanations for model predictions in different
scenarios. However, current practice of exploiting a single baseline fails to
fulfill this ambition, thus demanding multiple baselines. Fortunately, the
inherent connection between IG and Aumann-Shapley Value forms a unique
perspective to rethink the design of baselines. Under certain hypothesis, we
theoretically analyse that a set of baseline aligns with the coalitions in
Shapley Value. Thus, we propose a novel baseline construction method called
Shapley Integrated Gradients (SIG) that searches for a set of baselines by
proportional sampling to partly simulate the computation path of Shapley Value.
Simulations on GridWorld show that SIG approximates the proportion of Shapley
Values. Furthermore, experiments conducted on various image tasks demonstrate
that compared to IG using other baseline methods, SIG exhibits an improved
estimation of feature's contribution, offers more consistent explanations
across diverse applications, and is generic to distinct data types or instances
with insignificant computational overhead.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)の解釈には、DNNの予測を入力特性に寄与させることで、多くのアプローチが試みられている。
よく研究されている属性手法の1つは統合勾配(IG)である。
特に、igのベースラインの選択は、異なるシナリオにおけるモデル予測に対して有意義で偏りのない説明を生成するための重要な考慮事項である。
しかし、単一のベースラインを利用する現在のプラクティスは、この野望を達成できず、複数のベースラインを要求する。
幸いなことに、IGとAumann-Shapley Valueの関係は、ベースラインの設計を再考するためのユニークな視点を形成している。
ある仮説の下で、理論上、一連のベースラインがシェープリー値の連立と一致することを解析する。
そこで本研究では,Shapley Integrated Gradients (SIG) と呼ばれる新しいベースライン構築手法を提案する。
GridWorldのシミュレーションは、SIGがシェープ値の比率を近似していることを示している。
さらに,他のベースライン手法を用いたIGと比較して,SIGは特徴の寄与度を向上し,多様なアプリケーション間でより一貫した説明を提供し,計算オーバーヘッドの少ないデータ型やインスタンスに汎用的であることを示す。
関連論文リスト
- Exploring Unified Perspective For Fast Shapley Value Estimation [77.15924044466976]
共有値の単純かつ効率的な推定法であるSimSHAPを提案する。
実験により,SimSHAPの有効性が検証され,精度の高いShapley値の計算が大幅に高速化された。
論文 参考訳(メタデータ) (2023-11-02T06:09:24Z) - RGM: A Robust Generalist Matching Model [53.223624323416914]
RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。
合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。
さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
論文 参考訳(メタデータ) (2023-10-18T07:30:08Z) - Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。
この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
論文 参考訳(メタデータ) (2023-07-06T15:19:53Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳(メタデータ) (2021-11-03T15:14:20Z) - Bayesian Sequential Optimal Experimental Design for Nonlinear Models
Using Policy Gradient Reinforcement Learning [0.0]
この逐次最適設計(sOED)問題を有限水平部分観測可能なマルコフ決定過程(POMDP)として定式化する。
連続確率変数、一般のガウス的非ガウス的後部モデル、高価な非線形フォワードモデルに対応するために構築されている。
我々は、強化学習から政策勾配(PG)法を用いてsOEDポリシーを数値的に解き、sOEDのPG式を導出し、証明する。
PG-sOED法全体を線形ガウスベンチマークで検証し, 汚染源逆転問題により, バッチおよびグレディ設計よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-10-28T17:47:31Z) - Improved Prediction and Network Estimation Using the Monotone Single
Index Multi-variate Autoregressive Model [34.529641317832024]
単調単一指数多変量自己回帰モデル(SIMAM)に基づく半パラメトリックアプローチを開発する。
我々は、従属データに対する理論的保証と、交互に投影される勾配降下アルゴリズムを提供する。
シミュレーションデータと2つの実データ例において,優れた性能を示す。
論文 参考訳(メタデータ) (2021-06-28T12:32:29Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳(メタデータ) (2020-10-22T05:04:38Z) - Making Affine Correspondences Work in Camera Geometry Computation [62.7633180470428]
局所的な特徴は、ポイント・ツー・ポイント対応ではなく、リージョン・ツー・リージョンを提供する。
本稿では,全モデル推定パイプラインにおいて,地域間マッチングを効果的に活用するためのガイドラインを提案する。
実験により、アフィンソルバはより高速な実行時にポイントベースソルバに匹敵する精度を達成できることが示された。
論文 参考訳(メタデータ) (2020-07-20T12:07:48Z) - Efficient computation and analysis of distributional Shapley values [15.322542729755998]
線形回帰、二項分類、非パラメトリック密度推定の標準問題に対するDShapleyの最初の解析式を導出する。
我々の公式は直接解釈可能であり、異なる種類のデータに対してどのように値が変化するかについての定量的な洞察を提供する。
論文 参考訳(メタデータ) (2020-07-02T19:51:54Z) - A Baseline for Shapley Values in MLPs: from Missingness to Neutrality [3.5939555573102853]
ディープニューラルネットワークはその正確性に基づいて勢いを増しているが、その解釈可能性はしばしば批判されている。
本稿では,中立値に応じてベースラインを選択する手法を提案する。
バイナリ分類タスクの文脈におけるベースラインの選択を実証的に検証する。
論文 参考訳(メタデータ) (2020-06-08T19:29:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。