論文の概要: The Illusion of Competence: Evaluating the Effect of Explanations on Users' Mental Models of Visual Question Answering Systems

• arxiv url: http://arxiv.org/abs/2406.19170v2
• Date: Mon, 21 Oct 2024 07:17:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:13:40.932056
• Title: The Illusion of Competence: Evaluating the Effect of Explanations on Users' Mental Models of Visual Question Answering Systems
• Title（参考訳）: コンピテンスのイラシオン:視覚質問応答システムの利用者のメンタルモデルに対する説明の効果の評価
• Authors: Judith Sieker, Simeon Junker, Ronja Utescher, Nazia Attari, Heiko Wersing, Hendrik Buschmeier, Sina Zarrieß,
• Abstract要約: 我々は、AIシステムの限界が、完璧に実行できないタスクに遭遇したとき、ユーザーがどのように認識するかを検討する。 我々は、視覚的な入力を操作することでAIシステムの制限を制御する視覚的質問応答と説明タスクを採用する。 私たちのゴールは、参加者がシステムの限界を認識できるかどうかを決定することです。
• 参考スコア（独自算出の注目度）: 6.307898834231964
• License:
• Abstract: We examine how users perceive the limitations of an AI system when it encounters a task that it cannot perform perfectly and whether providing explanations alongside its answers aids users in constructing an appropriate mental model of the system's capabilities and limitations. We employ a visual question answer and explanation task where we control the AI system's limitations by manipulating the visual inputs: during inference, the system either processes full-color or grayscale images. Our goal is to determine whether participants can perceive the limitations of the system. We hypothesize that explanations will make limited AI capabilities more transparent to users. However, our results show that explanations do not have this effect. Instead of allowing users to more accurately assess the limitations of the AI system, explanations generally increase users' perceptions of the system's competence - regardless of its actual performance.
• Abstract（参考訳）: 我々は、AIシステムの限界が完璧に実行できないタスクに遭遇したとき、ユーザーがどのように感じているか、そして、その答えと共に説明を提供することが、システムの能力と限界の適切なメンタルモデルを構築するのに役立つかどうかを検討する。 我々は、視覚的なインプットを操作することでAIシステムの制限を制御する視覚的質問応答と説明タスクを用いる:推論中、システムはフルカラーまたはグレースケールのイメージを処理する。 私たちのゴールは、参加者がシステムの限界を認識できるかどうかを決定することです。 私たちは、説明が限定的なAI能力をユーザーにとってより透明にする、という仮説を立てています。 しかし,本研究の結果から,この効果は説明できないことが明らかとなった。 ユーザがAIシステムの制限をより正確に評価できるようにする代わりに、説明は一般的に、実際のパフォーマンスに関わらず、システムの能力に対するユーザの認識を高めます。

関連論文リスト

• Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
  我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。 学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。 トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:38:57Z)
• Seamful XAI: Operationalizing Seamful Design in Explainable AI [59.89011292395202]
  AIシステムのミスは必然的であり、技術的制限と社会技術的ギャップの両方から生じる。 本稿では, 社会工学的・インフラ的ミスマッチを明らかにすることにより, シームレスな設計がAIの説明可能性を高めることを提案する。 43人のAI実践者と実際のエンドユーザでこのプロセスを探求します。
  論文  参考訳（メタデータ） (2022-11-12T21:54:05Z)
• Towards Human Cognition Level-based Experiment Design for Counterfactual Explanations (XAI) [68.8204255655161]
  XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。 認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。 本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T19:20:22Z)
• What Do End-Users Really Want? Investigation of Human-Centered XAI for Mobile Health Apps [69.53730499849023]
  説明可能なAI(XAI)を評価するために,ユーザ中心のペルソナ概念を提案する。 分析の結果,ユーザの人口統計や性格,説明のタイプ,影響説明の嗜好が示された。 私たちの洞察は、対話的で人間中心のXAIを実践的な応用に近づけます。
  論文  参考訳（メタデータ） (2022-10-07T12:51:27Z)
• Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
  Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。 これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
  論文  参考訳（メタデータ） (2022-01-26T18:53:09Z)
• Learning User-Interpretable Descriptions of Black-Box AI System Capabilities [9.608555640607731]
  本稿では,ブラックボックスAIシステムの限界と能力について,ユーザ解釈可能な記号記述を学習するためのアプローチを提案する。 階層的なアクティブクエリパラダイムを使用して質問を生成し、その応答に基づいてAIシステムのユーザ解釈可能なモデルを学ぶ。
  論文  参考訳（メタデータ） (2021-07-28T23:33:31Z)
• The Who in XAI: How AI Background Shapes Perceptions of AI Explanations [61.49776160925216]
  私たちは、2つの異なるグループ、つまりAIのバックグラウンドを持つ人々といない人たちの、異なるタイプのAI説明に対する理解について、混合手法による研究を行います。 その結果,(1) 両群は異なる理由から不合理な数に対する信頼を示し,(2) それぞれの群は意図した設計以上の異なる説明に価値を見出した。
  論文  参考訳（メタデータ） (2021-07-28T17:32:04Z)
• Explainable Artificial Intelligence (XAI) for Increasing User Trust in Deep Reinforcement Learning Driven Autonomous Systems [0.8701566919381223]
  我々は3つの説明を提供する説明可能な人工知能(XAI)フレームワークを提供する。 我々は,XAIフレームワークのユーザインタフェースを作成し,その有効性を評価した。
  論文  参考訳（メタデータ） (2021-06-07T16:38:43Z)
• QA2Explanation: Generating and Evaluating Explanations for Question Answering Systems over Knowledge Graph [4.651476054353298]
  パイプラインベースのQAシステムの様々な段階における説明を生成するための自動アプローチを開発する。 我々のアプローチは教師付きかつ自動的なアプローチであり、関連するQAコンポーネントの出力を注釈付けするための3つのクラス(成功、答えなし、間違った回答)を考える。
  論文  参考訳（メタデータ） (2020-10-16T11:32:12Z)
• The Impact of Explanations on AI Competency Prediction in VQA [3.149760860038061]
  視覚的質問応答(VQA)タスクにおけるAIエージェント能力のユーザ精神モデルに対する説明の影響を評価する。 本稿では,空間的特徴とオブジェクト的特徴を併用し,BERT言語モデルを用いた説明可能なVQAシステムを提案する。
  論文  参考訳（メタデータ） (2020-07-02T06:11:28Z)
• Don't Explain without Verifying Veracity: An Evaluation of Explainable AI with Video Activity Recognition [24.10997778856368]
  本稿では,知的システムにおけるユーザパフォーマンスと合意の妥当性がいかに影響するかを考察する。 ビデオレビューと問合せ作業における説明精度のばらつきを比較した。 その結果,信頼性の低い説明がユーザパフォーマンスと合意を著しく低下させることが示唆された。
  論文  参考訳（メタデータ） (2020-05-05T17:06:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。