論文の概要: Exploring the Effect of Explanation Content and Format on User Comprehension and Trust

• arxiv url: http://arxiv.org/abs/2408.17401v1
• Date: Fri, 30 Aug 2024 16:36:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 14:46:39.845163
• Title: Exploring the Effect of Explanation Content and Format on User Comprehension and Trust
• Title（参考訳）: 説明内容とフォーマットがユーザ理解と信頼に及ぼす影響を探る
• Authors: Antonio Rago, Bence Palfi, Purin Sukpanichnant, Hannibal Nabli, Kavyesh Vivek, Olga Kostopoulou, James Kinross, Francesca Toni,
• Abstract要約: がんリスクを評価するための回帰ツールの説明に焦点をあてる。 本稿では,説明内容と形式がユーザ中心の理解と信頼の指標に与える影響について検討する。
• 参考スコア（独自算出の注目度）: 11.433655064494896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, various methods have been introduced for explaining the outputs of "black-box" AI models. However, it is not well understood whether users actually comprehend and trust these explanations. In this paper, we focus on explanations for a regression tool for assessing cancer risk and examine the effect of the explanations' content and format on the user-centric metrics of comprehension and trust. Regarding content, we experiment with two explanation methods: the popular SHAP, based on game-theoretic notions and thus potentially complex for everyday users to comprehend, and occlusion-1, based on feature occlusion which may be more comprehensible. Regarding format, we present SHAP explanations as charts (SC), as is conventional, and occlusion-1 explanations as charts (OC) as well as text (OT), to which their simpler nature also lends itself. The experiments amount to user studies questioning participants, with two different levels of expertise (the general population and those with some medical training), on their subjective and objective comprehension of and trust in explanations for the outputs of the regression tool. In both studies we found a clear preference in terms of subjective comprehension and trust for occlusion-1 over SHAP explanations in general, when comparing based on content. However, direct comparisons of explanations when controlling for format only revealed evidence for OT over SC explanations in most cases, suggesting that the dominance of occlusion-1 over SHAP explanations may be driven by a preference for text over charts as explanations. Finally, we found no evidence of a difference between the explanation types in terms of objective comprehension. Thus overall, the choice of the content and format of explanations needs careful attention, since in some contexts format, rather than content, may play the critical role in improving user experience.
• Abstract（参考訳）: 近年、"ブラックボックス"AIモデルの出力を説明する様々な方法が紹介されている。 しかし、ユーザが実際にこれらの説明を理解し、信頼しているかはよく分かっていない。 本稿では,がんリスクを評価するためのレグレッションツールの説明に焦点をあて,説明内容とフォーマットがユーザ中心の理解と信頼の指標に与える影響を検討する。 コンテンツに関しては,ゲーム理論的な概念をベースとした一般的なSHAPと,より理解しやすい特徴をベースとしたOcclusion-1という2つの説明方法を試行する。 フォーマットに関しては、従来のようにチャート(SC)としてSHAPの説明を、チャート(OC)とテキスト(OT)としてOcclusion-1の説明を提示する。 この実験は,2つの異なるレベルの専門知識(一般集団とある程度の医療訓練)を持つ参加者に対して,回帰ツールのアウトプットの説明に対する主観的および客観的理解と信頼について質問するユーザスタディにあてはまる。 両研究とも, 主観的理解と信頼の両面から, SHAPによる説明よりも, 内容に基づく比較において, 主観的理解と信頼の両面から明らかな優先性を見出した。 しかし、書式制御時の説明の直接比較は、ほとんどのケースにおいて SC の説明よりも OT の証拠しか示さず、SHAP の説明よりも occlusion-1 の優位性は、説明としてチャートよりもテキストの方が優先されることによって引き起こされる可能性があることを示唆している。 最後に、客観的理解の観点から、説明型の違いの証拠は見つからなかった。 このように、コンテンツや説明の形式の選択は、コンテンツよりもコンテキストによってはユーザーエクスペリエンスを改善する上で重要な役割を果たす可能性があるため、注意が必要である。

関連論文リスト

• Fool Me Once? Contrasting Textual and Visual Explanations in a Clinical Decision-Support Setting [43.110187812734864]
  視覚的説明(可用性マップ)、自然言語の説明、両方のモダリティの組み合わせの3種類の説明を評価した。 テキストに基づく説明は、高い信頼度をもたらすことが分かっており、従順マップと組み合わせることで軽減される。 また、説明の質、すなわち、それがどれだけ事実的に正しい情報であり、それがAIの正しさとどの程度一致しているかが、異なる説明タイプの有用性に大きく影響していることも観察します。
  論文  参考訳（メタデータ） (2024-10-16T06:43:02Z)
• Explainability for Machine Learning Models: From Data Adaptability to User Perception [0.8702432681310401]
  この論文は、すでにデプロイされた機械学習モデルに対する局所的な説明の生成を探求する。 データとユーザ要件の両方を考慮して、意味のある説明を生み出すための最適な条件を特定することを目的としている。
  論文  参考訳（メタデータ） (2024-02-16T18:44:37Z)
• What if you said that differently?: How Explanation Formats Affect Human Feedback Efficacy and User Perception [53.4840989321394]
  我々は,QAモデルが生成した有理性の効果を分析し,その答えを支持する。 ユーザに対して,様々な形式で誤った回答とそれに対応する有理性を提示する。 このフィードバックの有効性を,文脈内学習を通じて評価する。
  論文  参考訳（メタデータ） (2023-11-16T04:26:32Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• Features of Explainability: How users understand counterfactual and causal explanations for categorical and continuous features in XAI [10.151828072611428]
  対物的説明は、AI決定の解釈可能性、レコメンデーション、バイアスに対処するためにますます使われています。 本研究では,ユーザ予測の客観的精度に対する反事実的・因果的説明の効果を検証した。 また, 利用者は, カテゴリー的特徴を参照する説明を, 連続的特徴を参照する説明よりも容易に理解できることがわかった。
  論文  参考訳（メタデータ） (2022-04-21T15:01:09Z)
• Human Interpretation of Saliency-based Explanation Over Text [65.29015910991261]
  テキストデータ上でのサリエンシに基づく説明について検討する。 人はしばしば説明を誤って解釈する。 本稿では,過度知覚と過小認識のモデル推定に基づいて,サリエンシを調整する手法を提案する。
  論文  参考訳（メタデータ） (2022-01-27T15:20:32Z)
• Rationalization through Concepts [27.207067974031805]
  ConRATという,新しい自己解釈モデルを提案する。 高レベルの決定に対する人間の説明は、しばしば鍵となる概念に基づいており、ConRATはドキュメントに記述されているものを想定している。 2つの正規化器がConRATを駆動して解釈可能な概念を構築する。
  論文  参考訳（メタデータ） (2021-05-11T07:46:48Z)
• Contrastive Explanations for Model Interpretability [77.92370750072831]
  分類モデルの対照的説明を生成する手法を提案する。 本手法は潜在空間へのモデル表現の投影に基づいている。 本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
  論文  参考訳（メタデータ） (2021-03-02T00:36:45Z)
• Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language? [86.60613602337246]
  我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。 LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。 マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
  論文  参考訳（メタデータ） (2020-10-08T16:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。