論文の概要: Rethinking Stability for Attribution-based Explanations
- arxiv url: http://arxiv.org/abs/2203.06877v1
- Date: Mon, 14 Mar 2022 06:19:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-16 04:37:01.422511
- Title: Rethinking Stability for Attribution-based Explanations
- Title(参考訳): 帰属に基づく説明の安定性再考
- Authors: Chirag Agarwal, Nari Johnson, Martin Pawelczyk, Satyapriya Krishna,
Eshika Saxena, Marinka Zitnik, and Himabindu Lakkaraju
- Abstract要約: 説明の安定性を定量化するためにメトリクスを導入し、いくつかの一般的な説明方法が不安定であることを示す。
特に、入力の変化、モデル表現、または基礎となる予測子の出力に関する出力説明の変化を測定するための新しい相対安定度指標を提案する。
- 参考スコア(独自算出の注目度): 20.215505482157255
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As attribution-based explanation methods are increasingly used to establish
model trustworthiness in high-stakes situations, it is critical to ensure that
these explanations are stable, e.g., robust to infinitesimal perturbations to
an input. However, previous works have shown that state-of-the-art explanation
methods generate unstable explanations. Here, we introduce metrics to quantify
the stability of an explanation and show that several popular explanation
methods are unstable. In particular, we propose new Relative Stability metrics
that measure the change in output explanation with respect to change in input,
model representation, or output of the underlying predictor. Finally, our
experimental evaluation with three real-world datasets demonstrates interesting
insights for seven explanation methods and different stability metrics.
- Abstract(参考訳): 帰属に基づく説明手法は、高次の状況においてモデルの信頼性を確立するためにますます使われており、入力に対する無限小摂動に対して頑健なような、これらの説明が安定であることを保証することが重要である。
しかし、従来の研究では、最先端の説明手法が不安定な説明を生成することが示されている。
本稿では,説明の安定性を定量化する指標を紹介し,いくつかの一般的な説明法が不安定であることを示す。
特に,基礎となる予測器の入力,モデル表現,出力の変化に関して,出力説明の変化を測定する新しい相対安定性指標を提案する。
最後に、実世界の3つのデータセットによる実験評価により、7つの説明方法と異なる安定性指標に関する興味深い洞察が得られた。
関連論文リスト
- Stable Update of Regression Trees [0.0]
本稿では,回帰木という,本質的に説明可能な機械学習手法の安定性に着目した。
本稿では,初期モデルの不確実性に基づいてデータポイントを重み付けする正規化手法を提案する。
その結果、提案手法は、類似またはより良い予測性能を達成しつつ、安定性の向上を図っている。
論文 参考訳(メタデータ) (2024-02-21T09:41:56Z) - On the stability, correctness and plausibility of visual explanation
methods based on feature importance [0.0]
画像分類器の特徴的重要性に基づいて, 説明の安定性, 正確性, 妥当性の相違について検討した。
これらの特性を評価するための既存の指標は必ずしも一致せず、説明のための優れた評価基準を構成するものの問題を提起する。
論文 参考訳(メタデータ) (2023-10-25T08:59:21Z) - On Minimizing the Impact of Dataset Shifts on Actionable Explanations [14.83940426256441]
我々は、モデル曲率、トレーニング中の重量減衰パラメータ、およびデータセットシフトの大きさが、説明(不安定性)の程度を決定する重要な要因であることを実証するために厳密な理論的分析を行う。
論文 参考訳(メタデータ) (2023-06-11T16:34:19Z) - Evaluating the Robustness of Interpretability Methods through
Explanation Invariance and Equivariance [72.50214227616728]
解釈可能性法は、それらの説明が説明されたモデルを忠実に記述した場合にのみ有用である。
特定の対称性群の下で予測が不変であるニューラルネットワークを考える。
論文 参考訳(メタデータ) (2023-04-13T17:59:03Z) - Identifying the Source of Vulnerability in Explanation Discrepancy: A
Case Study in Neural Text Classification [18.27912226867123]
近年の研究では、入力側摂動がモデルに適用された際のポストホック説明の不安定性が観察されている。
これにより、ポストホックな説明の安定性に対する関心と関心が高まる。
この研究は、不安定なポストホックの説明につながる潜在的な源を探究する。
論文 参考訳(メタデータ) (2022-12-10T16:04:34Z) - Don't Explain Noise: Robust Counterfactuals for Randomized Ensembles [50.81061839052459]
我々は確率論的問題として、堅牢な対実的説明の生成を定式化する。
アンサンブルモデルのロバスト性とベース学習者のロバスト性との関係を示す。
本手法は, 反実的説明から初期観測までの距離をわずかに増加させるだけで, 高いロバスト性を実現する。
論文 参考訳(メタデータ) (2022-05-27T17:28:54Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳(メタデータ) (2022-05-25T03:40:59Z) - Explainability in Process Outcome Prediction: Guidelines to Obtain
Interpretable and Faithful Models [77.34726150561087]
本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。
本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
論文 参考訳(メタデータ) (2022-03-30T05:59:50Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳(メタデータ) (2021-03-18T12:57:34Z) - Reliable Post hoc Explanations: Modeling Uncertainty in Explainability [44.9824285459365]
ブラックボックスの説明は、高レベルの設定でモデルの信頼性を確立するために、ますます採用されている。
先行研究では、最先端の技術が生み出す説明は一貫性がなく不安定であり、その正確性や信頼性についての洞察はほとんど得られないことが示されている。
局所的な説明と関連する不確実性を生成するための新しいベイズ的枠組みを開発する。
論文 参考訳(メタデータ) (2020-08-11T22:52:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。