論文の概要: The Impact of Imperfect XAI on Human-AI Decision-Making
- arxiv url: http://arxiv.org/abs/2307.13566v3
- Date: Fri, 9 Feb 2024 02:43:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 20:42:51.565316
- Title: The Impact of Imperfect XAI on Human-AI Decision-Making
- Title(参考訳): 不完全XAIが人間-AI意思決定に及ぼす影響
- Authors: Katelyn Morrison, Philipp Spitzer, Violet Turri, Michelle Feng, Niklas
K\"uhl, Adam Perer
- Abstract要約: 鳥種識別作業において,誤った説明が人間の意思決定行動にどのように影響するかを評価する。
この結果から,AIと人間-AIチームパフォーマンスへの不完全なXAIと,人間の専門知識レベルの影響が明らかになった。
- 参考スコア(独自算出の注目度): 7.29807482760841
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Explainability techniques are rapidly being developed to improve human-AI
decision-making across various cooperative work settings. Consequently,
previous research has evaluated how decision-makers collaborate with imperfect
AI by investigating appropriate reliance and task performance with the aim of
designing more human-centered computer-supported collaborative tools. Several
human-centered explainable AI (XAI) techniques have been proposed in hopes of
improving decision-makers' collaboration with AI; however, these techniques are
grounded in findings from previous studies that primarily focus on the impact
of incorrect AI advice. Few studies acknowledge the possibility of the
explanations being incorrect even if the AI advice is correct. Thus, it is
crucial to understand how imperfect XAI affects human-AI decision-making. In
this work, we contribute a robust, mixed-methods user study with 136
participants to evaluate how incorrect explanations influence humans'
decision-making behavior in a bird species identification task, taking into
account their level of expertise and an explanation's level of assertiveness.
Our findings reveal the influence of imperfect XAI and humans' level of
expertise on their reliance on AI and human-AI team performance. We also
discuss how explanations can deceive decision-makers during human-AI
collaboration. Hence, we shed light on the impacts of imperfect XAI in the
field of computer-supported cooperative work and provide guidelines for
designers of human-AI collaboration systems.
- Abstract(参考訳): 様々な協調作業環境におけるヒューマンAI意思決定を改善するための説明可能性技術が急速に開発されている。
その結果、より人間中心のコンピュータ支援協調ツールを設計することを目的として、意思決定者が不完全なaiとどのように連携するかを評価した。
意思決定者によるAIとのコラボレーションを改善するために、人間中心で説明可能なAI(XAI)技術がいくつか提案されているが、これらのテクニックは、主に不正なAIアドバイスの影響に焦点を当てた以前の研究の結果に基づいている。
たとえAIのアドバイスが正しいとしても、説明が正しくないことを認める研究はほとんどない。
したがって、XAIの不完全性が人間とAIの意思決定にどのように影響するかを理解することが重要である。
本研究では, 鳥種識別タスクにおいて, 不正確な説明が人間の意思決定行動にどのように影響するかを評価するために, 136人の被験者とともに, 頑健で混成的なユーザスタディに貢献する。
この結果から,AIと人間-AIチームパフォーマンスへの不完全なXAIと人間の専門知識レベルの影響が明らかになった。
また、人間とaiのコラボレーションにおいて、いかに説明が意思決定者をだますかについても論じる。
そこで我々は,コンピュータ支援型協調作業における不完全なXAIの影響に光を当て,人間とAIのコラボレーションシステムの設計者に対するガイドラインを提供する。
関連論文リスト
- Beyond Recommender: An Exploratory Study of the Effects of Different AI
Roles in AI-Assisted Decision Making [48.179458030691286]
Recommender、Analyzer、Devil's Advocateの3つのAIの役割について検討する。
以上の結果から,各役割のタスクパフォーマンス,信頼性の適切性,ユーザエクスペリエンスにおける長所と短所が明らかとなった。
これらの洞察は、異なる状況に応じて適応的な機能的役割を持つAIアシスタントを設計する上で、貴重な意味を提供する。
論文 参考訳(メタデータ) (2024-03-04T07:32:28Z) - On the Effect of Contextual Information on Human Delegation Behavior in
Human-AI collaboration [3.9253315480927964]
我々は、AIにインスタンスを委譲するために、人間の意思決定に文脈情報を提供することの効果について検討する。
参加者にコンテキスト情報を提供することで,人間-AIチームのパフォーマンスが大幅に向上することがわかった。
本研究は,人間代表団における人間とAIの相互作用の理解を深め,より効果的な協調システムを設計するための実用的な洞察を提供する。
論文 参考訳(メタデータ) (2024-01-09T18:59:47Z) - Towards Effective Human-AI Decision-Making: The Role of Human Learning
in Appropriate Reliance on AI Advice [3.595471754135419]
参加者100名を対象にした実験において,学習と適切な信頼の関係を示す。
本研究は,人間とAIの意思決定を効果的に設計するために,信頼度を分析し,意味を導き出すための基本的な概念を提供する。
論文 参考訳(メタデータ) (2023-10-03T14:51:53Z) - BO-Muse: A human expert and AI teaming framework for accelerated
experimental design [58.61002520273518]
我々のアルゴリズムは、人間の専門家が実験プロセスでリードすることを可能にする。
我々のアルゴリズムは、AIや人間よりも高速に、サブ線形に収束することを示す。
論文 参考訳(メタデータ) (2023-03-03T02:56:05Z) - Seamful XAI: Operationalizing Seamful Design in Explainable AI [59.89011292395202]
AIシステムのミスは必然的であり、技術的制限と社会技術的ギャップの両方から生じる。
本稿では, 社会工学的・インフラ的ミスマッチを明らかにすることにより, シームレスな設計がAIの説明可能性を高めることを提案する。
43人のAI実践者と実際のエンドユーザでこのプロセスを探求します。
論文 参考訳(メタデータ) (2022-11-12T21:54:05Z) - Advancing Human-AI Complementarity: The Impact of User Expertise and
Algorithmic Tuning on Joint Decision Making [10.890854857970488]
ユーザのドメイン知識、AIシステムのメンタルモデル、レコメンデーションへの信頼など、多くの要因がヒューマンAIチームの成功に影響を与える可能性がある。
本研究は,非自明な血管ラベル作成作業において,血管が流れているか停止しているかを被験者に示すことを目的とした。
以上の結果から,AI-Assistantからの推薦はユーザの意思決定に役立つが,AIに対するユーザベースラインのパフォーマンスや,AIエラー型の相補的チューニングといった要因は,チーム全体のパフォーマンスに大きな影響を及ぼすことが示された。
論文 参考訳(メタデータ) (2022-08-16T21:39:58Z) - Who Goes First? Influences of Human-AI Workflow on Decision Making in
Clinical Imaging [24.911186503082465]
本研究は, 放射線医学における診断セッション開始時と, 放射線科医の仮決定後のAI支援の効果について検討した。
その結果、AI推論をレビューする前に仮回答を登録するよう求められている参加者は、アドバイスが正確かどうかに関わらず、AIに同意する確率が低く、AIと意見の相違がある場合には、同僚の第二の意見を求める確率が低いことがわかった。
論文 参考訳(メタデータ) (2022-05-19T16:59:25Z) - Deciding Fast and Slow: The Role of Cognitive Biases in AI-assisted
Decision-making [46.625616262738404]
我々は、認知科学の分野からの知識を用いて、人間とAIの協調的な意思決定設定における認知バイアスを考慮します。
私たちは、人間とAIのコラボレーションでよく見られるバイアスであるバイアスのアンカーに特に焦点を当てています。
論文 参考訳(メタデータ) (2020-10-15T22:25:41Z) - Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork [54.309495231017344]
AIシステムは人間中心の方法でトレーニングされ、チームのパフォーマンスに直接最適化されるべきである、と私たちは主張する。
我々は,AIレコメンデーションを受け入れるか,あるいはタスク自体を解決するかを選択する,特定のタイプのAIチームを提案する。
実世界の高精度データセット上での線形モデルと非線形モデルによる実験は、AIが最も正確であることは、最高のチームパフォーマンスに繋がらないことを示している。
論文 参考訳(メタデータ) (2020-04-27T19:06:28Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳(メタデータ) (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。