論文の概要: An Experimental Investigation into the Evaluation of Explainability
Methods
- arxiv url: http://arxiv.org/abs/2305.16361v1
- Date: Thu, 25 May 2023 08:07:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 19:06:55.289046
- Title: An Experimental Investigation into the Evaluation of Explainability
Methods
- Title(参考訳): 説明可能性の評価に関する実験的検討
- Authors: S\'edrick Stassin, Alexandre Englebert, G\'eraldin Nanfack, Julien
Albert, Nassim Versbraegen, Gilles Peiffer, Miriam Doh, Nicolas Riche,
Beno\^it Frenay, Christophe De Vleeschouwer
- Abstract要約: この研究は、9つの最先端XAI法と3つのダミー法(例えば、ランダム・サリエンシ・マップ)に適用された14の異なるメトリクスを比較した。
実験の結果、これらの指標のどれが高い相関関係を示し、潜在的な冗長性を示している。
- 参考スコア(独自算出の注目度): 60.54170260771932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: EXplainable Artificial Intelligence (XAI) aims to help users to grasp the
reasoning behind the predictions of an Artificial Intelligence (AI) system.
Many XAI approaches have emerged in recent years. Consequently, a subfield
related to the evaluation of XAI methods has gained considerable attention,
with the aim to determine which methods provide the best explanation using
various approaches and criteria. However, the literature lacks a comparison of
the evaluation metrics themselves, that one can use to evaluate XAI methods.
This work aims to fill this gap by comparing 14 different metrics when applied
to nine state-of-the-art XAI methods and three dummy methods (e.g., random
saliency maps) used as references. Experimental results show which of these
metrics produces highly correlated results, indicating potential redundancy. We
also demonstrate the significant impact of varying the baseline hyperparameter
on the evaluation metric values. Finally, we use dummy methods to assess the
reliability of metrics in terms of ranking, pointing out their limitations.
- Abstract(参考訳): Explainable Artificial Intelligence (XAI)は、人工知能(AI)システムの予測の背後にある推論の理解を支援することを目的としている。
近年、多くのXAIアプローチが出現している。
その結果、XAI手法の評価に関するサブフィールドが注目され、様々なアプローチや基準を用いて、どの手法が最良の説明を提供するかを決定することが目的となった。
しかしながら、文献はXAI手法の評価に使用できる評価基準そのものの比較を欠いている。
この研究はこのギャップを埋めるために、9つの最先端xai法と3つのダミー法(例えばランダム塩分マップ)を基準として適用した場合の14の異なる指標を比較している。
実験の結果、これらの指標のどれが高い相関関係を示し、潜在的な冗長性を示している。
また,ベースラインハイパーパラメータの変化が評価基準値に与える影響も明らかにした。
最後に,ダミー法を用いて評価基準の信頼性を評価し,その限界を指摘する。
関連論文リスト
- How much informative is your XAI? A decision-making assessment task to
objectively measure the goodness of explanations [53.01494092422942]
XAIに対する個人化アプローチとユーザ中心アプローチの数は、近年急速に増加している。
ユーザ中心のXAIアプローチがユーザとシステム間のインタラクションに肯定的な影響を与えることが明らかとなった。
我々は,XAIシステムの良否を客観的かつ定量的に評価するための評価課題を提案する。
論文 参考訳(メタデータ) (2023-12-07T15:49:39Z) - Assessing Fidelity in XAI post-hoc techniques: A Comparative Study with
Ground Truth Explanations Datasets [0.0]
入力への出力情報のバックプロパゲーションに基づくXAI手法により精度と信頼性が向上する。
バックプロパゲーション法は、よりノイズの多いサリエンシマップを生成する傾向がある。
発見はXAI法の進歩に重要な意味を持つ。
論文 参考訳(メタデータ) (2023-11-03T14:57:24Z) - Precise Benchmarking of Explainable AI Attribution Methods [0.0]
本稿では,最新のXAI属性手法のベンチマークのための新しい評価手法を提案する。
提案手法は, 基礎的真理の説明を伴う合成分類モデルから成り立っている。
実験の結果, Guided-Backprop 法と Smoothgrad XAI 法の性能に関する新たな知見が得られた。
論文 参考訳(メタデータ) (2023-08-06T17:03:32Z) - Better Understanding Differences in Attribution Methods via Systematic
Evaluations [77.1487219861185]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
論文 参考訳(メタデータ) (2023-03-21T14:24:58Z) - Connecting Algorithmic Research and Usage Contexts: A Perspective of
Contextualized Evaluation for Explainable AI [65.44737844681256]
説明可能なAI(XAI)を評価する方法に関するコンセンサスの欠如は、この分野の進歩を妨げる。
このギャップを埋める一つの方法は、異なるユーザ要求を考慮に入れた評価方法を開発することである、と我々は主張する。
論文 参考訳(メタデータ) (2022-06-22T05:17:33Z) - Towards Better Understanding Attribution Methods [77.1487219861185]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
論文 参考訳(メタデータ) (2022-05-20T20:50:17Z) - From Anecdotal Evidence to Quantitative Evaluation Methods: A Systematic
Review on Evaluating Explainable AI [3.7592122147132776]
我々は,説明の質を総合的に評価するために評価すべき,コンパクト性や正確性などの12の概念的特性を同定する。
その結果,3件中1件が逸話的証拠でのみ評価され,5件中1件がユーザで評価されていることがわかった。
この体系的な評価手法の収集は、研究者や実践者に、新しいXAI手法と既存のXAI手法を徹底的に検証、ベンチマーク、比較するための具体的なツールを提供する。
論文 参考訳(メタデータ) (2022-01-20T13:23:20Z) - Crowdsourcing Evaluation of Saliency-based XAI Methods [18.18238526746074]
本稿では,クラウドソーシングによるXAI手法の評価手法を提案する。
我々の手法は人間の計算ゲーム「Peek-a-boom」にインスパイアされている。
自動評価と群集評価を併用した2つのデータセット上で,様々なXAI手法の精度マップを評価した。
論文 参考訳(メタデータ) (2021-06-27T17:37:53Z) - Data Representing Ground-Truth Explanations to Evaluate XAI Methods [0.0]
現在、説明可能な人工知能(XAI)手法は、主に解釈可能な機械学習(IML)研究に由来するアプローチで評価されている。
本稿では,XAI手法の精度を評価するために用いられる正準方程式を用いた説明法を提案する。
論文 参考訳(メタデータ) (2020-11-18T16:54:53Z) - PONE: A Novel Automatic Evaluation Metric for Open-Domain Generative
Dialogue Systems [48.99561874529323]
オープンドメイン生成対話システムの評価には3つの方法がある。
体系的な比較が欠如しているため、どの指標がより効果的であるかは明らかでない。
本稿では,人間の判断との相関性を大幅に改善できる,新しい,実現可能な学習基準を提案する。
論文 参考訳(メタデータ) (2020-04-06T04:36:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。