論文の概要: Confident Teacher, Confident Student? A Novel User Study Design for Investigating the Didactic Potential of Explanations and their Impact on Uncertainty

• arxiv url: http://arxiv.org/abs/2409.17157v1
• Date: Tue, 10 Sep 2024 12:59:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 16:50:22.190700
• Title: Confident Teacher, Confident Student? A Novel User Study Design for Investigating the Didactic Potential of Explanations and their Impact on Uncertainty
• Title（参考訳）: 信頼する教師, 信頼する学生? 説明の妥当性と不確実性への影響を調査するための新しいユーザスタディ設計
• Authors: Teodor Chiaburu, Frank Haußer, Felix Bießmann,
• Abstract要約: 説明可能な人工知能(XAI)を用いた視覚課題における説明が人的パフォーマンスに与える影響について検討する。 アノテーションの精度が向上し、AIアシストに対する不確実性が低下していることがわかりました。 ユーザーは説明を示すと、モデルの予測をより頻繁に再現する傾向がある。
• 参考スコア（独自算出の注目度）: 1.0855602842179624
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Evaluating the quality of explanations in Explainable Artificial Intelligence (XAI) is to this day a challenging problem, with ongoing debate in the research community. While some advocate for establishing standardized offline metrics, others emphasize the importance of human-in-the-loop (HIL) evaluation. Here we propose an experimental design to evaluate the potential of XAI in human-AI collaborative settings as well as the potential of XAI for didactics. In a user study with 1200 participants we investigate the impact of explanations on human performance on a challenging visual task - annotation of biological species in complex taxonomies. Our results demonstrate the potential of XAI in complex visual annotation tasks: users become more accurate in their annotations and demonstrate less uncertainty with AI assistance. The increase in accuracy was, however, not significantly different when users were shown the mere prediction of the model compared to when also providing an explanation. We also find negative effects of explanations: users tend to replicate the model's predictions more often when shown explanations, even when those predictions are wrong. When evaluating the didactic effects of explanations in collaborative human-AI settings, we find that users' annotations are not significantly better after performing annotation with AI assistance. This suggests that explanations in visual human-AI collaboration do not appear to induce lasting learning effects. All code and experimental data can be found in our GitHub repository: https://github.com/TeodorChiaburu/beexplainable.
• Abstract（参考訳）: 説明可能な人工知能(XAI)における説明の質を評価することは、現在研究コミュニティで進行中の議論と共に、困難な問題である。 標準化されたオフラインメトリクスの確立を提唱する意見もある一方で、HIL(Human-in-the-loop)評価の重要性を強調している意見もある。 本稿では,人間とAIの協調環境におけるXAIの可能性と,ドクティクスにおけるXAIの可能性を評価するための実験的設計を提案する。 1200人の参加者によるユーザスタディにおいて、複雑な分類学における生物学的種のアノテーションである難解な視覚的タスクに対する人間のパフォーマンスに対する説明の影響について検討した。 我々の結果は、複雑な視覚的アノテーションタスクにおけるXAIの可能性を示している。 しかし、精度の上昇は、ユーザがモデルの単なる予測を示す場合と、説明を提供する場合とでは大きな違いはない。 ユーザーは、その予測が間違っていても、説明を見せた時にモデルの予測をより頻繁に複製する傾向があります。 協調的な人間-AI設定における説明の実践的効果を評価すると、AIアシストによるアノテーションの実行では、ユーザのアノテーションはそれほど良くないことがわかった。 このことは、視覚的人間とAIのコラボレーションにおける説明が、持続的な学習効果を誘発しないことを示している。 コードと実験データはすべてGitHubリポジトリにある。

関連論文リスト

• Don't be Fooled: The Misinformation Effect of Explanations in Human-AI Collaboration [11.824688232910193]
  我々は,人間がXAIに支えられたAIによる意思決定について研究している。 その結果,誤った説明が正しいAIアドバイスに付随する場合に誤報が生じることがわかった。 この効果は、人間が欠陥のある推論戦略を推測し、タスクの実行を妨げ、手続き的知識の障害を示す。
  論文  参考訳（メタデータ） (2024-09-19T14:34:20Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• How Well Do Feature-Additive Explainers Explain Feature-Additive Predictors? [12.993027779814478]
  LIME、SHAP、SHAPR、MAPLE、PDPといった人気機能付加型推論器は、機能付加型予測器を説明できるだろうか? 本稿では,モデルの加法構造から解析的に導出される基底真理について,そのような説明を行う。 以上の結果から,全ての説明者が機能の重要性を正しく評価できないことが示唆された。
  論文  参考訳（メタデータ） (2023-10-27T21:16:28Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Towards Human Cognition Level-based Experiment Design for Counterfactual Explanations (XAI) [68.8204255655161]
  XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。 認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。 本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T19:20:22Z)
• The Who in XAI: How AI Background Shapes Perceptions of AI Explanations [61.49776160925216]
  私たちは、2つの異なるグループ、つまりAIのバックグラウンドを持つ人々といない人たちの、異なるタイプのAI説明に対する理解について、混合手法による研究を行います。 その結果,(1) 両群は異なる理由から不合理な数に対する信頼を示し,(2) それぞれの群は意図した設計以上の異なる説明に価値を見出した。
  論文  参考訳（メタデータ） (2021-07-28T17:32:04Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)
• Don't Explain without Verifying Veracity: An Evaluation of Explainable AI with Video Activity Recognition [24.10997778856368]
  本稿では,知的システムにおけるユーザパフォーマンスと合意の妥当性がいかに影響するかを考察する。 ビデオレビューと問合せ作業における説明精度のばらつきを比較した。 その結果,信頼性の低い説明がユーザパフォーマンスと合意を著しく低下させることが示唆された。
  論文  参考訳（メタデータ） (2020-05-05T17:06:46Z)
• Explainable Active Learning (XAL): An Empirical Study of How Local Explanations Impact Annotator Experience [76.9910678786031]
  本稿では、最近急増している説明可能なAI(XAI)のテクニックをアクティブラーニング環境に導入することにより、説明可能なアクティブラーニング(XAL)の新たなパラダイムを提案する。 本研究は,機械教育のインタフェースとしてのAI説明の利点として,信頼度校正を支援し,リッチな形式の教示フィードバックを可能にすること,モデル判断と認知作業負荷による潜在的な欠点を克服する効果を示す。
  論文  参考訳（メタデータ） (2020-01-24T22:52:18Z)
• Deceptive AI Explanations: Creation and Detection [3.197020142231916]
  我々は、AIモデルを用いて、偽りの説明を作成し、検出する方法について検討する。 実験的な評価として,GradCAMによるテキスト分類と説明の変更に着目した。 被験者200名を対象に, 偽装説明がユーザに与える影響について検討した。
  論文  参考訳（メタデータ） (2020-01-21T16:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。