論文の概要: Exploring the Effect of Explanation Content and Format on User Comprehension and Trust

• arxiv url: http://arxiv.org/abs/2408.17401v1
• Date: Fri, 30 Aug 2024 16:36:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 14:46:39.845163
• Title: Exploring the Effect of Explanation Content and Format on User Comprehension and Trust
• Title（参考訳）: 説明内容とフォーマットがユーザ理解と信頼に及ぼす影響を探る
• Authors: Antonio Rago, Bence Palfi, Purin Sukpanichnant, Hannibal Nabli, Kavyesh Vivek, Olga Kostopoulou, James Kinross, Francesca Toni,
• Abstract要約: がんリスクを評価するための回帰ツールの説明に焦点をあてる。 本稿では,説明内容と形式がユーザ中心の理解と信頼の指標に与える影響について検討する。
• 参考スコア（独自算出の注目度）: 11.433655064494896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, various methods have been introduced for explaining the outputs of "black-box" AI models. However, it is not well understood whether users actually comprehend and trust these explanations. In this paper, we focus on explanations for a regression tool for assessing cancer risk and examine the effect of the explanations' content and format on the user-centric metrics of comprehension and trust. Regarding content, we experiment with two explanation methods: the popular SHAP, based on game-theoretic notions and thus potentially complex for everyday users to comprehend, and occlusion-1, based on feature occlusion which may be more comprehensible. Regarding format, we present SHAP explanations as charts (SC), as is conventional, and occlusion-1 explanations as charts (OC) as well as text (OT), to which their simpler nature also lends itself. The experiments amount to user studies questioning participants, with two different levels of expertise (the general population and those with some medical training), on their subjective and objective comprehension of and trust in explanations for the outputs of the regression tool. In both studies we found a clear preference in terms of subjective comprehension and trust for occlusion-1 over SHAP explanations in general, when comparing based on content. However, direct comparisons of explanations when controlling for format only revealed evidence for OT over SC explanations in most cases, suggesting that the dominance of occlusion-1 over SHAP explanations may be driven by a preference for text over charts as explanations. Finally, we found no evidence of a difference between the explanation types in terms of objective comprehension. Thus overall, the choice of the content and format of explanations needs careful attention, since in some contexts format, rather than content, may play the critical role in improving user experience.
• Abstract（参考訳）: 近年、"ブラックボックス"AIモデルの出力を説明する様々な方法が紹介されている。 しかし、ユーザが実際にこれらの説明を理解し、信頼しているかはよく分かっていない。 本稿では,がんリスクを評価するためのレグレッションツールの説明に焦点をあて,説明内容とフォーマットがユーザ中心の理解と信頼の指標に与える影響を検討する。 コンテンツに関しては,ゲーム理論的な概念をベースとした一般的なSHAPと,より理解しやすい特徴をベースとしたOcclusion-1という2つの説明方法を試行する。 フォーマットに関しては、従来のようにチャート(SC)としてSHAPの説明を、チャート(OC)とテキスト(OT)としてOcclusion-1の説明を提示する。 この実験は,2つの異なるレベルの専門知識(一般集団とある程度の医療訓練)を持つ参加者に対して,回帰ツールのアウトプットの説明に対する主観的および客観的理解と信頼について質問するユーザスタディにあてはまる。 両研究とも, 主観的理解と信頼の両面から, SHAPによる説明よりも, 内容に基づく比較において, 主観的理解と信頼の両面から明らかな優先性を見出した。 しかし、書式制御時の説明の直接比較は、ほとんどのケースにおいて SC の説明よりも OT の証拠しか示さず、SHAP の説明よりも occlusion-1 の優位性は、説明としてチャートよりもテキストの方が優先されることによって引き起こされる可能性があることを示唆している。 最後に、客観的理解の観点から、説明型の違いの証拠は見つからなかった。 このように、コンテンツや説明の形式の選択は、コンテンツよりもコンテキストによってはユーザーエクスペリエンスを改善する上で重要な役割を果たす可能性があるため、注意が必要である。

関連論文リスト

• Fool Me Once? Contrasting Textual and Visual Explanations in a Clinical Decision-Support Setting [43.110187812734864]
  視覚的説明(可用性マップ)、自然言語の説明、両方のモダリティの組み合わせの3種類の説明を評価した。 テキストに基づく説明は、高い信頼度をもたらすことが分かっており、従順マップと組み合わせることで軽減される。 また、説明の質、すなわち、それがどれだけ事実的に正しい情報であり、それがAIの正しさとどの程度一致しているかが、異なる説明タイプの有用性に大きく影響していることも観察します。
  論文  参考訳（メタデータ） (2024-10-16T06:43:02Z)
• Contrastive Learning with Counterfactual Explanations for Radiology Report Generation [83.30609465252441]
  放射線学レポート生成のためのtextbfCountertextbfFactual textbfExplanations-based framework (CoFE) を提案する。 反現実的な説明は、アルゴリズムによってなされた決定をどのように変えられるかを理解するための強力なツールとして、シナリオが何であるかを問うことによって役立ちます。 2つのベンチマークの実験では、反ファクト的な説明を活用することで、CoFEは意味的に一貫性があり、事実的に完全なレポートを生成することができる。
  論文  参考訳（メタデータ） (2024-07-19T17:24:25Z)
• Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models [49.95603725998561]
  本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。 具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
  論文  参考訳（メタデータ） (2023-10-04T21:57:09Z)
• Evaluating GPT-3 Generated Explanations for Hateful Content Moderation [8.63841985804905]
  ヘイトフルコンテンツと非ヘイトフルコンテンツの両方に関する説明を生成するために、GPT-3を使用します。 生成した説明を評価するために,2400人の独特な回答者を対象に調査を行った。 以上の結果から, GPTによる説明は言語流布度, 情報伝達度, 説得力, 論理音性において高い品質と評価された。
  論文  参考訳（メタデータ） (2023-05-28T10:05:13Z)
• "Nothing Abnormal": Disambiguating Medical Reports via Contrastive Knowledge Infusion [6.9551174393701345]
  コントラスト型事前学習と摂動型書き換えに基づく書き換えアルゴリズムを提案する。 胸部報告に基づくOpenI-Annotatedと、一般的な医療報告に基づくVA-Annotatedの2つのデータセットを作成しました。 提案アルゴリズムは,高内容忠実度で少ないあいまいな方法で文を効果的に書き換える。
  論文  参考訳（メタデータ） (2023-05-15T02:01:20Z)
• Directive Explanations for Monitoring the Risk of Diabetes Onset: Introducing Directive Data-Centric Explanations and Combinations to Support What-If Explorations [1.7109770736915972]
  本稿では,糖尿病発症リスクを予測する説明ダッシュボードを提案する。 データ中心、機能重要度、サンプルベースの説明でこれらの予測を説明する。 11名の医療専門家と45名の医療専門家と51名の糖尿病患者を対象に研究を行った。
  論文  参考訳（メタデータ） (2023-02-21T13:40:16Z)
• Informing clinical assessment by contextualizing post-hoc explanations of risk prediction models in type-2 diabetes [50.8044927215346]
  本研究は, 合併症リスク予測のシナリオを考察し, 患者の臨床状態に関する文脈に焦点を当てる。 我々は、リスク予測モデル推論に関する文脈を提示し、その受容性を評価するために、最先端のLLMをいくつか採用する。 本論文は,実世界における臨床症例における文脈説明の有効性と有用性を明らかにする最初のエンドツーエンド分析の1つである。
  論文  参考訳（メタデータ） (2023-02-11T18:07:11Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• Human Interpretation of Saliency-based Explanation Over Text [65.29015910991261]
  テキストデータ上でのサリエンシに基づく説明について検討する。 人はしばしば説明を誤って解釈する。 本稿では,過度知覚と過小認識のモデル推定に基づいて,サリエンシを調整する手法を提案する。
  論文  参考訳（メタデータ） (2022-01-27T15:20:32Z)
• Assessing the Severity of Health States based on Social Media Posts [62.52087340582502]
  ユーザの健康状態の重症度を評価するために,テキストコンテンツとコンテキスト情報の両方をモデル化する多視点学習フレームワークを提案する。 多様なNLUビューは、ユーザの健康を評価するために、タスクと個々の疾患の両方に効果を示す。
  論文  参考訳（メタデータ） (2020-09-21T03:45:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。