論文の概要: Evaluating Explainability: A Framework for Systematic Assessment and Reporting of Explainable AI Features
- arxiv url: http://arxiv.org/abs/2506.13917v1
- Date: Mon, 16 Jun 2025 18:51:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-18 17:34:59.213179
- Title: Evaluating Explainability: A Framework for Systematic Assessment and Reporting of Explainable AI Features
- Title（参考訳）: 説明可能性を評価する - 説明可能なAI機能の体系的評価と報告のためのフレームワーク
- Authors: Miguel A. Lago, Ghada Zamzmi, Brandon Eich, Jana G. Delfino,
- Abstract要約: 説明可能なAI機能の評価と報告を行うフレームワークを提案する。
評価の枠組みは,(1)類似した入力に対する説明のばらつきの定量化,2)説明が真実にどの程度近いかの定式化,3)説明とモデル内部機構の整合性の評価,4)タスク性能への影響評価の4つの基準に基づく。
- 参考スコア（独自算出の注目度）: 2.4458403938995064
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Explainability features are intended to provide insight into the internal mechanisms of an AI device, but there is a lack of evaluation techniques for assessing the quality of provided explanations. We propose a framework to assess and report explainable AI features. Our evaluation framework for AI explainability is based on four criteria: 1) Consistency quantifies the variability of explanations to similar inputs, 2) Plausibility estimates how close the explanation is to the ground truth, 3) Fidelity assesses the alignment between the explanation and the model internal mechanisms, and 4) Usefulness evaluates the impact on task performance of the explanation. Finally, we developed a scorecard for AI explainability methods that serves as a complete description and evaluation to accompany this type of algorithm. We describe these four criteria and give examples on how they can be evaluated. As a case study, we use Ablation CAM and Eigen CAM to illustrate the evaluation of explanation heatmaps on the detection of breast lesions on synthetic mammographies. The first three criteria are evaluated for clinically-relevant scenarios. Our proposed framework establishes criteria through which the quality of explanations provided by AI models can be evaluated. We intend for our framework to spark a dialogue regarding the value provided by explainability features and help improve the development and evaluation of AI-based medical devices.
- Abstract（参考訳）: 説明可能性機能は、AIデバイスの内部メカニズムに関する洞察を提供することを目的としているが、提供された説明の質を評価するための評価技術が不足している。
説明可能なAI機能の評価と報告を行うフレームワークを提案する。
我々のAI説明可能性評価フレームワークは、以下の4つの基準に基づいている。
1)類似の入力に対する説明のばらつきの定量化。
2)説明が根拠的真実にどの程度近いかをプラウシビリティーが推定する。
3)説明とモデル内部機構の整合性及び整合性の評価
4) 説明のタスクパフォーマンスへの影響を評価する。
最後に、このタイプのアルゴリズムに付随する完全な記述と評価を行うAI説明可能性手法のスコアカードを開発した。
これら4つの基準を説明し、その評価方法の例を示す。
症例報告では,Ablation CAMとEigen CAMを用いて,乳房病変の検出における説明ヒートマップの評価を行った。
最初の3つの基準は臨床関連シナリオに対して評価される。
提案フレームワークは,AIモデルによって提供される説明の質を評価するための基準を確立する。
我々は、説明可能性機能が提供する価値に関する対話を喚起し、AIベースの医療機器の開発と評価を改善することを目的としている。
関連論文リスト
- A Systematic Review of User-Centred Evaluation of Explainable AI in Healthcare [1.57531613028502]
本研究の目的は、医療におけるXAIのユーザエクスペリエンスを特徴付ける、明確に定義された原子特性の枠組みを開発することである。
また,システム特性に基づいて評価戦略を定義するための文脈に敏感なガイドラインも提供する。
論文 参考訳（メタデータ） (2025-06-16T18:30:00Z) - The Explanation Necessity for Healthcare AI [3.8953842074141387]
そこで本研究では,4つのクラスから成る新たな分類体系を提案する。
このフレームワークは、研究者が必要な説明可能性の適切な深さを決定するための実用的なツールを提供する。
論文 参考訳（メタデータ） (2024-05-31T22:20:10Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T23:13:23Z) - Towards a Comprehensive Human-Centred Evaluation Framework for
Explainable AI [1.7222662622390634]
本稿では,レコメンデータシステムに使用されるユーザ中心評価フレームワークを適用することを提案する。
我々は、説明的側面、説明的特性を要約し、それらの関係を示し、これらの特性を測定する分類指標を統合する。
論文 参考訳（メタデータ） (2023-07-31T09:20:16Z) - Informing clinical assessment by contextualizing post-hoc explanations
of risk prediction models in type-2 diabetes [50.8044927215346]
本研究は, 合併症リスク予測のシナリオを考察し, 患者の臨床状態に関する文脈に焦点を当てる。
我々は、リスク予測モデル推論に関する文脈を提示し、その受容性を評価するために、最先端のLLMをいくつか採用する。
本論文は,実世界における臨床症例における文脈説明の有効性と有用性を明らかにする最初のエンドツーエンド分析の1つである。
論文 参考訳（メタデータ） (2023-02-11T18:07:11Z) - REV: Information-Theoretic Evaluation of Free-Text Rationales [83.24985872655738]
理想的な計量は、入力やラベルに提供されない理性において一意に提供される新しい情報に焦点を当てるべきである、と我々は主張する。
本稿では,REV (Rationale Evaluation with Conditional V-information) と呼ばれる手法を提案する。
論文 参考訳（メタデータ） (2022-10-10T19:31:30Z) - Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
本稿では,ニューラルモデルによる反事実文の評価について検討する。
まず、神経因果モデル(NCM)が十分に表現可能であることを示す。
第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-09-30T18:29:09Z) - A Meta Survey of Quality Evaluation Criteria in Explanation Methods [0.5801044612920815]
説明可能な人工知能(XAI)において、説明方法とその評価が重要な問題となっている。
最も正確なAIモデルは透明性と理解性の低い不透明であるため、バイアスの検出と不確実性の制御には説明が不可欠である。
説明方法の品質を評価する際には、選択すべき基準が多々ある。
論文 参考訳（メタデータ） (2022-03-25T22:24:21Z) - A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
既存の説明可能性技術を評価するための診断特性のリストを作成する。
そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
論文 参考訳（メタデータ） (2020-09-25T12:01:53Z) - The role of explainability in creating trustworthy artificial
intelligence for health care: a comprehensive survey of the terminology,
design choices, and evaluation strategies [1.2762298148425795]
透明性の欠如は、医療におけるAIシステムの実装における主要な障壁の1つとして認識されている。
我々は最近の文献をレビューし、説明可能なAIシステムの設計について研究者や実践者にガイダンスを提供する。
我々は、説明可能なモデリングが信頼できるAIに貢献できると結論づけるが、説明可能性の利点は実際に証明する必要がある。
論文 参考訳（メタデータ） (2020-07-31T09:08:27Z) - Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。
我々は、緩やかに必要であり、予測に十分である新しい説明を得る。
我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文 参考訳（メタデータ） (2020-05-31T05:52:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。