論文の概要: If Only We Had Better Counterfactual Explanations: Five Key Deficits to
Rectify in the Evaluation of Counterfactual XAI Techniques
- arxiv url: http://arxiv.org/abs/2103.01035v1
- Date: Fri, 26 Feb 2021 09:57:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 17:23:45.355854
- Title: If Only We Had Better Counterfactual Explanations: Five Key Deficits to
Rectify in the Evaluation of Counterfactual XAI Techniques
- Title（参考訳）: より良い反事実的説明があれば--反事実的xai手法の評価を正すための5つの重要な欠陥
- Authors: Mark T Keane, Eoin M Kenny, Eoin Delaney, Barry Smyth
- Abstract要約: 文献に報告された100の異なる非実用説明方法を調査した。
これらの手法のわずか21%がユーザテストである。
これらの手法の評価における5つの重要な欠点について詳述する。
- 参考スコア（独自算出の注目度）: 13.658942796267015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, there has been an explosion of AI research on counterfactual
explanations as a solution to the problem of eXplainable AI (XAI). These
explanations seem to offer technical, psychological and legal benefits over
other explanation techniques. We survey 100 distinct counterfactual explanation
methods reported in the literature. This survey addresses the extent to which
these methods have been adequately evaluated, both psychologically and
computationally, and quantifies the shortfalls occurring. For instance, only
21% of these methods have been user tested. Five key deficits in the evaluation
of these methods are detailed and a roadmap, with standardised benchmark
evaluations, is proposed to resolve the issues arising; issues, that currently
effectively block scientific progress in this field.
- Abstract（参考訳）: 近年,eXplainable AI(XAI)問題に対する解決策として,対実的説明に関するAI研究が爆発的に増えている。
これらの説明は他の説明技術よりも技術的、心理的、法的利益を提供するようです。
文献に報告された100の異なる非実用説明方法を調査した。
本研究は,これらの手法が心理的および計算学的に適切に評価され,発生した欠点を定量化する方法である。
例えば、これらのメソッドの21%がユーザテスト済みである。
これらの手法の評価における5つの重要な欠陥が詳細に述べられ、その問題点を解決するために、ベンチマーク評価を標準化したロードマップが提案されている。
関連論文リスト
- Navigating the Maze of Explainable AI: A Systematic Approach to Evaluating Methods and Metrics [10.045644410833402]
LATECは、20の異なる指標を用いて17の顕著なXAI手法を批判的に評価する大規模なベンチマークである。
信頼性の低いランキングに繋がるメトリクスの衝突リスクを実証し、その結果、より堅牢な評価手法を提案する。
LATECは将来のXAI研究における役割を強化し、326kのサリエンシマップと378kのメトリクススコアを(メタ評価)データセットとして公開している。
論文 参考訳（メタデータ） (2024-09-25T09:07:46Z) - Towards a Comprehensive Human-Centred Evaluation Framework for
Explainable AI [1.7222662622390634]
本稿では,レコメンデータシステムに使用されるユーザ中心評価フレームワークを適用することを提案する。
我々は、説明的側面、説明的特性を要約し、それらの関係を示し、これらの特性を測定する分類指標を統合する。
論文 参考訳（メタデータ） (2023-07-31T09:20:16Z) - An Experimental Investigation into the Evaluation of Explainability
Methods [60.54170260771932]
この研究は、9つの最先端XAI法と3つのダミー法(例えば、ランダム・サリエンシ・マップ)に適用された14の異なるメトリクスを比較した。
実験の結果、これらの指標のどれが高い相関関係を示し、潜在的な冗長性を示している。
論文 参考訳（メタデータ） (2023-05-25T08:07:07Z) - On The Coherence of Quantitative Evaluation of Visual Explanations [0.7212939068975619]
視覚的説明の「良さ」を評価するための評価手法が提案されている。
我々はImageNet-1k検証セットのサブセットについて検討し、多くの一般的な説明手法を評価した。
本研究の結果から, 評価方法のいくつかは, 階調のコヒーレンシーが欠如していることが示唆された。
論文 参考訳（メタデータ） (2023-02-14T13:41:57Z) - The Role of AI in Drug Discovery: Challenges, Opportunities, and
Strategies [97.5153823429076]
この分野でのAIのメリット、課題、欠点についてレビューする。
データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
論文 参考訳（メタデータ） (2022-12-08T23:23:39Z) - Individual Explanations in Machine Learning Models: A Case Study on
Poverty Estimation [63.18666008322476]
機械学習の手法は、敏感な社会的文脈でますます適用されつつある。
本研究の主な目的は2つある。
まず、これらの課題を公開し、関連性のある新しい説明方法の使用にどのように影響するか。
次に、関連するアプリケーションドメインで説明メソッドを実装する際に直面するような課題を軽減する一連の戦略を提示します。
論文 参考訳（メタデータ） (2021-04-09T01:54:58Z) - Data Representing Ground-Truth Explanations to Evaluate XAI Methods [0.0]
現在、説明可能な人工知能(XAI)手法は、主に解釈可能な機械学習(IML)研究に由来するアプローチで評価されている。
本稿では,XAI手法の精度を評価するために用いられる正準方程式を用いた説明法を提案する。
論文 参考訳（メタデータ） (2020-11-18T16:54:53Z) - A Review of Uncertainty Quantification in Deep Learning: Techniques,
Applications and Challenges [76.20963684020145]
不確実性定量化(UQ)は、最適化と意思決定プロセスの両方において不確実性の低減に重要な役割を果たしている。
ビザレ近似とアンサンブル学習技術は、文学において最も広く使われている2つのUQ手法である。
本研究は, 深層学習におけるUQ手法の最近の進歩を概観し, 強化学習におけるこれらの手法の適用について検討する。
論文 参考訳（メタデータ） (2020-11-12T06:41:05Z) - Evaluating Explainable AI: Which Algorithmic Explanations Help Users
Predict Model Behavior? [97.77183117452235]
我々は、モデル解釈性に対するアルゴリズム的説明の影響を分離するために、人体テストを実施している。
方法の有効性の明確な証拠はごく少数にみえる。
以上の結果から,説明がシミュラビリティにどのように影響するかの信頼性と包括的評価が得られた。
論文 参考訳（メタデータ） (2020-05-04T20:35:17Z) - Anomalous Example Detection in Deep Learning: A Survey [98.2295889723002]
本調査は,ディープラーニングアプリケーションにおける異常検出の研究について,構造化された包括的概要を提供する。
既存の技術に対する分類法を,その基礎となる前提と採用アプローチに基づいて提案する。
本稿では,DLシステムに異常検出技術を適用しながら未解決の研究課題を取り上げ,今後の課題について述べる。
論文 参考訳（メタデータ） (2020-03-16T02:47:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。