論文の概要: Features of Explainability: How users understand counterfactual and
causal explanations for categorical and continuous features in XAI
- arxiv url: http://arxiv.org/abs/2204.10152v1
- Date: Thu, 21 Apr 2022 15:01:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-22 17:00:41.507014
- Title: Features of Explainability: How users understand counterfactual and
causal explanations for categorical and continuous features in XAI
- Title（参考訳）: 説明可能性の特徴: xaiにおけるカテゴリー的・連続的特徴に対する反事実的・因果的説明の理解
- Authors: Greta Warren and Mark T Keane and Ruth M J Byrne
- Abstract要約: 対物的説明は、AI決定の解釈可能性、レコメンデーション、バイアスに対処するためにますます使われています。
本研究では,ユーザ予測の客観的精度に対する反事実的・因果的説明の効果を検証した。
また, 利用者は, カテゴリー的特徴を参照する説明を, 連続的特徴を参照する説明よりも容易に理解できることがわかった。
- 参考スコア（独自算出の注目度）: 10.151828072611428
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Counterfactual explanations are increasingly used to address
interpretability, recourse, and bias in AI decisions. However, we do not know
how well counterfactual explanations help users to understand a systems
decisions, since no large scale user studies have compared their efficacy to
other sorts of explanations such as causal explanations (which have a longer
track record of use in rule based and decision tree models). It is also unknown
whether counterfactual explanations are equally effective for categorical as
for continuous features, although current methods assume they do. Hence, in a
controlled user study with 127 volunteer participants, we tested the effects of
counterfactual and causal explanations on the objective accuracy of users
predictions of the decisions made by a simple AI system, and participants
subjective judgments of satisfaction and trust in the explanations. We
discovered a dissociation between objective and subjective measures:
counterfactual explanations elicit higher accuracy of predictions than
no-explanation control descriptions but no higher accuracy than causal
explanations, yet counterfactual explanations elicit greater satisfaction and
trust than causal explanations. We also found that users understand
explanations referring to categorical features more readily than those
referring to continuous features. We discuss the implications of these findings
for current and future counterfactual methods in XAI.
- Abstract（参考訳）: 対物的説明は、AI決定の解釈可能性、レコメンデーション、バイアスに対処するためにますます使われています。
しかし, 大規模ユーザスタディでは, 因果的説明(ルールベースや決定木モデルにおける使用履歴が長い)などの他の説明と比較して, 利用者がシステム決定を理解するのにどの程度の反事実的説明が有効なのかは分かっていない。
反実的説明が連続的な特徴の分類に等しく有効であるかどうかも分かっていないが、現在の方法ではそう仮定している。
そこで,127名のボランティアによる対照ユーザ調査において,単純なaiシステムによる意思決定の客観的な予測精度と,説明に対する満足度と信頼度の主観的判断に対する反事実的・因果的説明の効果を検証した。
主観的説明は説明不能な説明よりも予測の正確さが高く,因果的説明よりは精度が低いが,主観的説明は因果的説明よりも満足度と信頼度が高い。
また、ユーザーは連続的な特徴よりもカテゴリー的特徴を参照する説明を理解することができた。
本研究は,XAIにおけるこれらの知見が現在および将来の対策方法に与える影響について論じる。
関連論文リスト
- XForecast: Evaluating Natural Language Explanations for Time Series Forecasting [72.57427992446698]
時系列予測は、特に正確な予測に依存するステークホルダーにとって、意思決定を支援する。
伝統的に説明可能なAI(XAI)メソッドは、機能や時間的重要性を基盤とするものであり、専門家の知識を必要とすることが多い。
時系列データにおける複雑な因果関係のため,予測NLEの評価は困難である。
論文 参考訳（メタデータ） (2024-10-18T05:16:39Z) - Fool Me Once? Contrasting Textual and Visual Explanations in a Clinical Decision-Support Setting [43.110187812734864]
視覚的説明(可用性マップ)、自然言語の説明、両方のモダリティの組み合わせの3種類の説明を評価した。
テキストに基づく説明は、高い信頼度をもたらすことが分かっており、従順マップと組み合わせることで軽減される。
また、説明の質、すなわち、それがどれだけ事実的に正しい情報であり、それがAIの正しさとどの程度一致しているかが、異なる説明タイプの有用性に大きく影響していることも観察します。
論文 参考訳（メタデータ） (2024-10-16T06:43:02Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T23:13:23Z) - Predictability and Comprehensibility in Post-Hoc XAI Methods: A
User-Centered Analysis [6.606409729669314]
ポストホック説明可能性法は、ブラックボックス機械学習モデルの予測を明らかにすることを目的としている。
我々は、LIMEとSHAPの2つの広く使われているツールにおいて、理解性と予測可能性を評価するために、ユーザスタディを実施している。
モデル決定境界付近のサンプルに対して説明を行うと,SHAPの理解度が大幅に低下することがわかった。
論文 参考訳（メタデータ） (2023-09-21T11:54:20Z) - The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。
入力と論理的に整合した説明は、通常より正確な予測を示す。
本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
論文 参考訳（メタデータ） (2022-05-06T17:57:58Z) - Human Interpretation of Saliency-based Explanation Over Text [65.29015910991261]
テキストデータ上でのサリエンシに基づく説明について検討する。
人はしばしば説明を誤って解釈する。
本稿では,過度知覚と過小認識のモデル推定に基づいて,サリエンシを調整する手法を提案する。
論文 参考訳（メタデータ） (2022-01-27T15:20:32Z) - Contrastive Explanations for Model Interpretability [77.92370750072831]
分類モデルの対照的説明を生成する手法を提案する。
本手法は潜在空間へのモデル表現の投影に基づいている。
本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
論文 参考訳（メタデータ） (2021-03-02T00:36:45Z) - A Taxonomy of Explainable Bayesian Networks [0.0]
ベイズネットワークにおける説明可能性の分類について紹介する。
我々は、モデルにおける説明可能性の既存の分類、推論または証拠を拡張して、決定の説明を含める。
論文 参考訳（メタデータ） (2021-01-28T07:29:57Z) - Human Evaluation of Spoken vs. Visual Explanations for Open-Domain QA [22.76153284711981]
本研究は,ODQAシステムの回答をいつ受理するか,拒否するかをユーザが正確に判断するのに役立つかを検討する。
その結果,得られたエビデンスパスから得られた説明は,モダリティ間で強いベースライン(校正信頼度)を上回る可能性が示唆された。
我々は,現在の説明に共通する障害事例を示し,説明のエンドツーエンド評価を強調し,デプロイと異なるプロキシモダリティで評価することを警告する。
論文 参考訳（メタデータ） (2020-12-30T08:19:02Z) - Don't Explain without Verifying Veracity: An Evaluation of Explainable
AI with Video Activity Recognition [24.10997778856368]
本稿では,知的システムにおけるユーザパフォーマンスと合意の妥当性がいかに影響するかを考察する。
ビデオレビューと問合せ作業における説明精度のばらつきを比較した。
その結果,信頼性の低い説明がユーザパフォーマンスと合意を著しく低下させることが示唆された。
論文 参考訳（メタデータ） (2020-05-05T17:06:46Z) - SCOUT: Self-aware Discriminant Counterfactual Explanations [78.79534272979305]
対物的視覚的説明の問題点を考察する。
新しい差別的な説明の族が紹介される。
結果として生じる反実的な説明は、最適化が自由で、従って以前の方法よりもはるかに高速である。
論文 参考訳（メタデータ） (2020-04-16T17:05:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。