論文の概要: Normalized AOPC: Fixing Misleading Faithfulness Metrics for Feature Attribution Explainability
- arxiv url: http://arxiv.org/abs/2408.08137v1
- Date: Thu, 15 Aug 2024 13:13:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-16 13:56:12.254140
- Title: Normalized AOPC: Fixing Misleading Faithfulness Metrics for Feature Attribution Explainability
- Title（参考訳）: 正規化AOPC:特徴属性説明可能性のためのミスリーディング忠実度尺度の修正
- Authors: Joakim Edin, Andreas Geert Motzfeldt, Casper L. Christensen, Tuukka Ruotsalo, Lars Maaløe, Maria Maistro,
- Abstract要約: 特徴帰属法は,各特徴の寄与を識別することで予測を説明することを目的としている。
摂動曲線(AOPC)上の領域を用いてしばしば評価されるFithfulnessは、特徴属性の精度を反映する。
AOPCはモデルの変化に敏感であり,信頼性の低いモデル間比較の結果が得られた。
本稿では,正規化手法である正規化AOPC(Normalized AOPC)を提案し,一貫した相互モデル評価を実現する。
- 参考スコア（独自算出の注目度）: 8.248655835174803
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep neural network predictions are notoriously difficult to interpret. Feature attribution methods aim to explain these predictions by identifying the contribution of each input feature. Faithfulness, often evaluated using the area over the perturbation curve (AOPC), reflects feature attributions' accuracy in describing the internal mechanisms of deep neural networks. However, many studies rely on AOPC to compare faithfulness across different models, which we show can lead to false conclusions about models' faithfulness. Specifically, we find that AOPC is sensitive to variations in the model, resulting in unreliable cross-model comparisons. Moreover, AOPC scores are difficult to interpret in isolation without knowing the model-specific lower and upper limits. To address these issues, we propose a normalization approach, Normalized AOPC (NAOPC), enabling consistent cross-model evaluations and more meaningful interpretation of individual scores. Our experiments demonstrate that this normalization can radically change AOPC results, questioning the conclusions of earlier studies and offering a more robust framework for assessing feature attribution faithfulness.
- Abstract（参考訳）: ディープニューラルネットワークの予測は解釈が難しいことで知られている。
特徴属性法は、各入力特徴の寄与を識別することで、これらの予測を説明することを目的としている。
摂動曲線(AOPC)上の領域を用いてしばしば評価される忠実さは、ディープニューラルネットワークの内部メカニズムを記述する際に特徴属性の正確さを反映する。
しかし、多くの研究は、異なるモデル間の忠実さを比較するためにAOPCに依存しており、モデルの忠実さに関する誤った結論をもたらす可能性がある。
具体的には,AOPCはモデルの変動に敏感であり,信頼性の低いモデル間比較の結果が得られた。
さらに、AOPCスコアは、モデル固有の下限と上限を知らずに分離して解釈することが困難である。
これらの問題に対処するため、我々は正規化アプローチである正規化AOPC(NAOPC)を提案し、一貫したクロスモデル評価とより意味のある個々のスコアの解釈を可能にした。
我々の実験は、この正規化がAOPCの結果を根本的に変えることを実証し、先行研究の結論を疑問視し、特徴帰属忠実性を評価するためのより堅牢なフレームワークを提供する。
関連論文リスト
- MANO: Exploiting Matrix Norm for Unsupervised Accuracy Estimation Under Distribution Shifts [25.643876327918544]
モデルのアウトプット、特にロジットを活用することは、トレーニング済みニューラルネットワークのテスト精度を、アウト・オブ・ディストリビューションのサンプルで推定する一般的なアプローチである。
実装の容易さと計算効率にもかかわらず、現在のロジットベースの手法は過信問題に弱いため、予測バイアスにつながる。
予測バイアスを低減するためにデータ依存正規化を適用したMaNoを提案し,正規化ロジットの行列の$L_p$ノルムを推定スコアとする。
論文 参考訳（メタデータ） (2024-05-29T10:45:06Z) - GAIA: Delving into Gradient-based Attribution Abnormality for
Out-of-distribution Detection [40.07502368794068]
In-distriion(ID)データとout-of-distriion(OOD)データの相違を定量化するための革新的な視点を提供する。
OOD検出にはゼロデフレ異常とチャネルワイド平均異常の2種類の異常を導入する。
GAIAの有効性は、一般的に使用されるCIFARと大規模(ImageNet-1k)ベンチマークの両方で検証される。
論文 参考訳（メタデータ） (2023-11-16T07:05:12Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳（メタデータ） (2023-11-13T01:48:08Z) - Principles from Clinical Research for NLP Model Generalization [10.985226652193543]
一般化可能性の基礎を探求し、それに影響を与える要因について検討する。
関係抽出タスクにおけるエンティティ間の距離などの学習がモデルの内部妥当性にどのように影響するかを示す。
論文 参考訳（メタデータ） (2023-11-07T02:17:25Z) - Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。
提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。
我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
論文 参考訳（メタデータ） (2023-10-14T13:56:24Z) - Explanation Method for Anomaly Detection on Mixed Numerical and
Categorical Spaces [0.9543943371833464]
EADMNC (混合数値およびカテゴリー空間における説明可能な異常検出)
これは、元のモデルで得られた予測に説明可能性を追加する。
本稿では,大規模な実世界のデータ,特にネットワーク侵入検出領域における実験結果について報告する。
論文 参考訳（メタデータ） (2022-09-09T08:20:13Z) - Accuracy on the Line: On the Strong Correlation Between
Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。
具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。
また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
論文 参考訳（メタデータ） (2021-07-09T19:48:23Z) - Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。
本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。
自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文 参考訳（メタデータ） (2021-06-07T17:47:16Z) - Deconfounding Scores: Feature Representations for Causal Effect
Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。
分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。
特に,この手法が標準正規化の魅力的な代替となることを示す。
論文 参考訳（メタデータ） (2021-04-12T18:50:11Z) - Latent Causal Invariant Model [128.7508609492542]
現在の教師付き学習は、データ適合プロセス中に急激な相関を学習することができる。
因果予測を求める潜在因果不変モデル(LaCIM)を提案する。
論文 参考訳（メタデータ） (2020-11-04T10:00:27Z) - NestedVAE: Isolating Common Factors via Weak Supervision [45.366986365879505]
我々は、バイアス低減の課題と、ドメイン間で共通する分離要因の関係を同定する。
共通因子を分離するために、潜伏変数モデルの理論と情報ボトルネック理論を組み合わせる。
共有重みを持つ2つの外部VAEは入力を再構成し、潜伏空間を推論し、一方、ネストされたVAEはペア化された画像の潜伏表現から1つの画像の潜伏表現を再構成しようとする。
論文 参考訳（メタデータ） (2020-02-26T15:49:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。