論文の概要: To Trust or to Think: Cognitive Forcing Functions Can Reduce
Overreliance on AI in AI-assisted Decision-making
- arxiv url: http://arxiv.org/abs/2102.09692v1
- Date: Fri, 19 Feb 2021 00:38:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-22 18:37:41.682280
- Title: To Trust or to Think: Cognitive Forcing Functions Can Reduce
Overreliance on AI in AI-assisted Decision-making
- Title（参考訳）: 信頼するか考えるか:認知強制関数はAI支援意思決定におけるAIの過度性を減らすことができる
- Authors: Zana Bu\c{c}inca, Maja Barbara Malaya, Krzysztof Z. Gajos
- Abstract要約: AIによる意思決定支援ツールによってサポートされる人々は、しばしばAIに過度に依存します。
AIの決定に説明を加えることは、過度な信頼を減らすものではありません。
我々の研究は、人間の認知モチベーションが説明可能なAIソリューションの有効性を損なうことを示唆している。
- 参考スコア（独自算出の注目度）: 4.877174544937129
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: People supported by AI-powered decision support tools frequently overrely on
the AI: they accept an AI's suggestion even when that suggestion is wrong.
Adding explanations to the AI decisions does not appear to reduce the
overreliance and some studies suggest that it might even increase it. Informed
by the dual-process theory of cognition, we posit that people rarely engage
analytically with each individual AI recommendation and explanation, and
instead develop general heuristics about whether and when to follow the AI
suggestions. Building on prior research on medical decision-making, we designed
three cognitive forcing interventions to compel people to engage more
thoughtfully with the AI-generated explanations. We conducted an experiment
(N=199), in which we compared our three cognitive forcing designs to two simple
explainable AI approaches and to a no-AI baseline. The results demonstrate that
cognitive forcing significantly reduced overreliance compared to the simple
explainable AI approaches. However, there was a trade-off: people assigned the
least favorable subjective ratings to the designs that reduced the overreliance
the most. To audit our work for intervention-generated inequalities, we
investigated whether our interventions benefited equally people with different
levels of Need for Cognition (i.e., motivation to engage in effortful mental
activities). Our results show that, on average, cognitive forcing interventions
benefited participants higher in Need for Cognition more. Our research suggests
that human cognitive motivation moderates the effectiveness of explainable AI
solutions.
- Abstract（参考訳）: AIを活用した意思決定支援ツールに支持されている人たちは、AIに過度に依存することが多い。
AIの決定に説明を加えることは、過度な信頼を減らすことのようでなく、いくつかの研究は、それがそれを高めるかもしれないことを示唆しています。
認知の二重プロセス理論にインフォームドされ、人々は個々のAI推奨や説明に分析的に関与することは滅多になく、代わりにAI提案にいつ従えばよいのかに関する一般的なヒューリスティックを発達させることを仮定する。
医学的意思決定に関する先行研究に基づいて、3つの認知的強制介入(cognitive forced interventions)をデザインした。
我々は3つの認知的強制設計を2つの簡単な説明可能なAIアプローチとNo-AIベースラインと比較した実験(N=199)を行った。
その結果、単純な説明可能なaiアプローチに比べて認知的強制は信頼度を大幅に低下させた。
しかし、トレードオフがあった:人々は最も過度な信頼性を減らすデザインに最も有利な主観評価を割り当てました。
介入が生み出す不平等に対する作業の監査のために、我々の介入が認知欲求のレベルが異なる人々(すなわち、努力的な精神活動に従事する動機)に等しく利益をもたらすかどうかを検討した。
以上の結果から,認知的強制介入が参加者の認知力向上に寄与することが示唆された。
我々の研究は、人間の認知モチベーションが説明可能なAIソリューションの有効性を損なうことを示唆している。
関連論文リスト
- Raising the Stakes: Performance Pressure Improves AI-Assisted Decision Making [57.53469908423318]
日常の人が共通のAI支援タスクを完了すると、パフォーマンスプレッシャーがAIアドバイスへの依存に与える影響を示す。
利害関係が高い場合には、AIの説明の有無にかかわらず、利害関係が低い場合よりもAIアドバイスを適切に使用することが分かりました。
論文 参考訳（メタデータ） (2024-10-21T22:39:52Z) - Contrastive Explanations That Anticipate Human Misconceptions Can Improve Human Decision-Making Skills [24.04643864795939]
人々の意思決定能力は、意思決定支援にAIに頼ると、しばしば改善に失敗する。
ほとんどのAIシステムは、AIの決定を正当化する一方的な説明を提供するが、ユーザーの思考を考慮しない。
我々は、AIの選択と予測された、おそらく人間の選択との違いを説明する、人間中心のコントラスト的な説明を生成するためのフレームワークを紹介します。
論文 参考訳（メタデータ） (2024-10-05T18:21:04Z) - Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。
学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。
トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
論文 参考訳（メタデータ） (2024-07-03T15:38:57Z) - Does More Advice Help? The Effects of Second Opinions in AI-Assisted
Decision Making [45.20615051119694]
我々は、AIによる意思決定における意思決定者の行動とパフォーマンスに第2の意見がどう影響するかを考察する。
AIモデルの推奨事項と第2の意見が常に一致している場合、意思決定者はAIに対する過度な信頼を減らすことができる。
もし意思決定者が、いつ仲間の第二の意見を求めるかを決めることができるならば、彼らの第二の意見の活発な勧誘は、AIに対する過度な信頼を緩和する可能性があることに気付く。
論文 参考訳（メタデータ） (2024-01-13T12:19:01Z) - Understanding the Effect of Counterfactual Explanations on Trust and
Reliance on AI for Human-AI Collaborative Clinical Decision Making [5.381004207943597]
本研究は,7人のセラピストと10人のレイパーを対象に,ストローク後生存者の運動の質を評価するための実験を行った。
我々は2種類のAI説明なしで、彼らのパフォーマンス、タスクの合意レベル、AIへの依存を分析した。
我々の研究は、AIモデルの精度をより正確に見積り、間違ったAI出力に対する過度な信頼を減らすために、反事実的説明の可能性について論じている。
論文 参考訳（メタデータ） (2023-08-08T16:23:46Z) - Knowing About Knowing: An Illusion of Human Competence Can Hinder
Appropriate Reliance on AI Systems [13.484359389266864]
本稿では、Dunning-Kruger Effect(DKE)がAIシステムへの適切な依存を妨げているかどうかを論じる。
DKEは、能力の低い個人が自身のスキルやパフォーマンスを過大評価しているため、メタ認知バイアスである。
その結果、パフォーマンスを過大評価する参加者は、AIシステムへの信頼度が低い傾向にあることがわかった。
論文 参考訳（メタデータ） (2023-01-25T14:26:10Z) - Understanding the Role of Human Intuition on Reliance in Human-AI
Decision-Making with Explanations [44.01143305912054]
意思決定者の直感がAI予測と説明の使用に与える影響について検討する。
以上の結果から,AIの予測と説明に関する3種類の直観が明らかになった。
これらの経路を用いて、なぜ機能に基づく説明が参加者の決定結果を改善しなかったのかを説明し、AIへの依存度を高めた。
論文 参考訳（メタデータ） (2023-01-18T01:33:50Z) - Improving Human-AI Collaboration With Descriptions of AI Behavior [14.904401331154062]
人々はAIシステムを使って意思決定を改善するが、しばしばAIの予測を過度に、あるいは過度に予測し、手伝わなかったよりも悪いパフォーマンスをする。
人々がAIアシスタントを適切に頼りにするために、行動記述を示すことを提案する。
論文 参考訳（メタデータ） (2023-01-06T00:33:08Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳（メタデータ） (2022-01-26T18:53:09Z) - Trustworthy AI: A Computational Perspective [54.80482955088197]
我々は,信頼に値するAIを実現する上で最も重要な6つの要素,(i)安全とロバスト性,(ii)非差別と公正,(iii)説明可能性,(iv)プライバシー,(v)説明可能性と監査性,(vi)環境ウェルビーイングに焦点をあてる。
各次元について、分類学に基づく最近の関連技術について概観し、実世界のシステムにおけるそれらの応用を概説する。
論文 参考訳（メタデータ） (2021-07-12T14:21:46Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳（メタデータ） (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。