論文の概要: What I Cannot Predict, I Do Not Understand: A Human-Centered Evaluation
Framework for Explainability Methods
- arxiv url: http://arxiv.org/abs/2112.04417v1
- Date: Mon, 6 Dec 2021 18:36:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-09 14:27:10.085228
- Title: What I Cannot Predict, I Do Not Understand: A Human-Centered Evaluation
Framework for Explainability Methods
- Title（参考訳）: 予測できないこと、理解できないこと:説明可能性手法のための人間中心評価フレームワーク
- Authors: Thomas Fel, Julien Colin, Remi Cadene, Thomas Serre
- Abstract要約: 本研究では,実世界のシナリオにおける個人帰属手法の実践的有用性について,説明可能性手法の評価に使用する理論的尺度が不十分であることを示す。
この結果から,より優れた説明可能性手法を開発し,人間中心評価手法を展開させる上で重要な必要性が示唆された。
- 参考スコア（独自算出の注目度）: 6.232071870655069
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A multitude of explainability methods and theoretical evaluation scores have
been proposed. However, it is not yet known: (1) how useful these methods are
in real-world scenarios and (2) how well theoretical measures predict the
usefulness of these methods for practical use by a human. To fill this gap, we
conducted human psychophysics experiments at scale to evaluate the ability of
human participants (n=1,150) to leverage representative attribution methods to
learn to predict the decision of different image classifiers. Our results
demonstrate that theoretical measures used to score explainability methods
poorly reflect the practical usefulness of individual attribution methods in
real-world scenarios. Furthermore, the degree to which individual attribution
methods helped human participants predict classifiers' decisions varied widely
across categorization tasks and datasets.
Overall, our results highlight fundamental challenges for the field --
suggesting a critical need to develop better explainability methods and to
deploy human-centered evaluation approaches. We will make the code of our
framework available to ease the systematic evaluation of novel explainability
methods.
- Abstract（参考訳）: 多くの説明可能性法と理論的評価スコアが提案されている。
しかし,(1)現実のシナリオにおいて,これらの手法がいかに有用か,(2)人間による実践的利用において,これらの手法がいかに有効かを理論的に予測するかは,まだ分かっていない。
このギャップを埋めるために,被験者(n=1,150)が代表帰属法を利用して異なる画像分類器の決定を予測できる能力を評価するために,人間の心理物理学実験を大規模に実施した。
本研究は,実世界シナリオにおける個別帰属法の実用的有用性を反映しない説明可能性評価法を示す。
さらに、個々の帰属方法が、人間参加者が分類器の決定を予測するのに役立つ程度は、分類タスクやデータセットによって大きく異なる。
全体として、本研究は、より良い説明可能性手法を開発し、人間中心評価アプローチを展開するための重要な必要性を示唆する。
我々は、新しい説明可能性メソッドの体系的評価を容易にするために、フレームワークのコードを利用可能にする。
関連論文リスト
- It HAS to be Subjective: Human Annotator Simulation via Zero-shot
Density Estimation [15.8765167340819]
人間アノテーションシミュレーション(Human Annotator Simulation, HAS)は、データアノテーションやシステムアセスメントなどの人的評価の代用として費用対効果がある。
人間の評価中の人間の知覚と行動は、多様な認知過程と主観的解釈による固有の多様性を示す。
本稿では,HASをゼロショット密度推定問題として扱うメタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-30T20:54:59Z) - Provable Benefits of Policy Learning from Human Preferences in
Contextual Bandit Problems [82.92678837778358]
嗜好に基づく手法は、InstructGPTのような経験的応用でかなりの成功を収めている。
フィードバックモデリングにおける人間のバイアスと不確実性がこれらのアプローチの理論的保証にどのように影響するかを示す。
論文 参考訳（メタデータ） (2023-07-24T17:50:24Z) - Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
論文 参考訳（メタデータ） (2023-03-21T14:24:58Z) - On The Coherence of Quantitative Evaluation of Visual Explanations [0.7212939068975619]
視覚的説明の「良さ」を評価するための評価手法が提案されている。
我々はImageNet-1k検証セットのサブセットについて検討し、多くの一般的な説明手法を評価した。
本研究の結果から, 評価方法のいくつかは, 階調のコヒーレンシーが欠如していることが示唆された。
論文 参考訳（メタデータ） (2023-02-14T13:41:57Z) - Towards Better Understanding Attribution Methods [77.1487219861185]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
論文 参考訳（メタデータ） (2022-05-20T20:50:17Z) - Discriminative Attribution from Counterfactuals [64.94009515033984]
本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。
本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
論文 参考訳（メタデータ） (2021-09-28T00:53:34Z) - On the Interaction of Belief Bias and Explanations [4.211128681972148]
我々は,信念バイアスの概観,人的評価における役割,そしてNLP実践者の考え方について述べる。
本研究では,評価における信念バイアスを考慮に入れることの重要性を指摘しながら,このような制御を導入する際に,最高性能の手法に関する結論が変化することを示す。
論文 参考訳（メタデータ） (2021-06-29T12:49:42Z) - On Sample Based Explanation Methods for NLP:Efficiency, Faithfulness,
and Semantic Evaluation [23.72825603188359]
我々は、任意のテキストシーケンスを説明単位として許容することにより、説明の解釈可能性を向上させることができる。
本研究では,人間による説明の判断に適合する意味に基づく評価指標を提案する。
論文 参考訳（メタデータ） (2021-06-09T00:49:56Z) - Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory
to Learning Algorithms [91.3755431537592]
プラグイン推定と擬似出力回帰に依存する4つの幅広いメタ学習戦略を解析する。
この理論的推論を用いて、アルゴリズム設計の原則を導出し、分析を実践に翻訳する方法について強調する。
論文 参考訳（メタデータ） (2021-01-26T17:11:40Z) - On quantitative aspects of model interpretability [0.0]
これらの次元に沿った手法は、2つの概念的部分、すなわち抽出器と実際の説明可能性法に含めることができると論じる。
異なるベンチマークタスクのメトリクスを実験的に検証し、そのタスクに最も適したメソッドの選択において、実践者の指導にどのように使用できるかを示す。
論文 参考訳（メタデータ） (2020-07-15T10:05:05Z) - Interpretable Off-Policy Evaluation in Reinforcement Learning by
Highlighting Influential Transitions [48.91284724066349]
強化学習におけるオフ政治評価は、医療や教育などの領域における将来の成果を改善するために観察データを使用する機会を提供する。
信頼区間のような従来の尺度は、ノイズ、限られたデータ、不確実性のために不十分である可能性がある。
我々は,人間専門家が政策評価評価評価の妥当性を分析できるように,ハイブリッドAIシステムとして機能する手法を開発した。
論文 参考訳（メタデータ） (2020-02-10T00:26:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。