Fugu-MT 論文翻訳(概要): How can I choose an explainer? An Application-grounded Evaluation of Post-hoc Explanations

論文の概要: How can I choose an explainer? An Application-grounded Evaluation of Post-hoc Explanations

arxiv url: http://arxiv.org/abs/2101.08758v2
Date: Fri, 22 Jan 2021 12:05:16 GMT
ステータス: 処理完了
システム内更新日: 2021-03-21 07:57:34.796612
Title: How can I choose an explainer? An Application-grounded Evaluation of Post-hoc Explanations
Title（参考訳）: どうやって説明者を選べる? ポストホック説明の応用的評価
Authors: S\'ergio Jesus, Catarina Bel\'em, Vladimir Balayan, Jo\~ao Bento, Pedro Saleiro, Pedro Bizarro, Jo\~ao Gama
Abstract要約: 説明は意思決定タスクに対する実際の影響に基づいて評価されることはめったにない。本研究は,エンドユーザーに対して異なるレベルの情報を提供することによる影響を分離するアプリケーショングラウンド評価手法であるXAI Testを提案する。強い統計的分析を用いて、一般的な説明者は、望まれるよりも悪い影響を持つことを示す。
参考スコア（独自算出の注目度）: 2.7708222692419735
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: There have been several research works proposing new Explainable AI (XAI) methods designed to generate model explanations having specific properties, or desiderata, such as fidelity, robustness, or human-interpretability. However, explanations are seldom evaluated based on their true practical impact on decision-making tasks. Without that assessment, explanations might be chosen that, in fact, hurt the overall performance of the combined system of ML model + end-users. This study aims to bridge this gap by proposing XAI Test, an application-grounded evaluation methodology tailored to isolate the impact of providing the end-user with different levels of information. We conducted an experiment following XAI Test to evaluate three popular post-hoc explanation methods -- LIME, SHAP, and TreeInterpreter -- on a real-world fraud detection task, with real data, a deployed ML model, and fraud analysts. During the experiment, we gradually increased the information provided to the fraud analysts in three stages: Data Only, i.e., just transaction data without access to model score nor explanations, Data + ML Model Score, and Data + ML Model Score + Explanations. Using strong statistical analysis, we show that, in general, these popular explainers have a worse impact than desired. Some of the conclusion highlights include: i) showing Data Only results in the highest decision accuracy and the slowest decision time among all variants tested, ii) all the explainers improve accuracy over the Data + ML Model Score variant but still result in lower accuracy when compared with Data Only; iii) LIME was the least preferred by users, probably due to its substantially lower variability of explanations from case to case.
Abstract（参考訳）: 特定の特性を持つモデル説明を生成するために設計された新しい説明可能なAI(XAI)手法や、忠実性、堅牢性、人間解釈可能性などのデシダータを提案する研究がいくつかある。しかし、意思決定タスクに対する実際の影響に基づいて説明が評価されることはめったにない。この評価がなければ、mlモデル+エンドユーザの複合システム全体のパフォーマンスを損なうという説明が選択されるかも知れません。本研究の目的は、エンドユーザーに対して異なるレベルの情報を提供する影響を分離するために、アプリケーションによる評価手法であるXAI Testを提案し、このギャップを埋めることである。我々は,実データ,デプロイされたMLモデル,不正アナリストを用いて,実世界の不正検出タスクにおいて,LIME,SHAP,TreeInterpreterの3つの一般的なポストホック説明手法を評価する実験を行った。データのみ、つまり、モデルスコアや説明へのアクセスのないトランザクションデータ、データ+MLモデルスコア、データ+MLモデルスコア+説明です。強固な統計分析を用いて, 一般に, これらの一般的な説明者は, 所望よりも悪い影響を持つことを示した。結論のハイライトは以下のとおりである。 i) データのみを最も高い決定精度と最も遅い決定時間で示し、i) すべての説明者はData + ML Model Scoreの変種よりも正確性を改善するが、それでもデータのみと比較して精度は低い;iii) LIMEはおそらく、ケースからケースへの説明の実質的な多様性のために、ユーザによって最も好まれていない。