論文の概要: Raising the Stakes: Performance Pressure Improves AI-Assisted Decision Making
- arxiv url: http://arxiv.org/abs/2410.16560v1
- Date: Mon, 21 Oct 2024 22:39:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-23 14:30:03.489028
- Title: Raising the Stakes: Performance Pressure Improves AI-Assisted Decision Making
- Title(参考訳): ステージを高くする - パフォーマンスのプレッシャーによってAIによる意思決定が向上
- Authors: Nikita Haduong, Noah A. Smith,
- Abstract要約: 日常の人が共通のAI支援タスクを完了すると、パフォーマンスプレッシャーがAIアドバイスへの依存に与える影響を示す。
利害関係が高い場合には、AIの説明の有無にかかわらず、利害関係が低い場合よりもAIアドバイスを適切に使用することが分かりました。
- 参考スコア(独自算出の注目度): 57.53469908423318
- License:
- Abstract: AI systems are used in many domains to assist with decision making, and although the potential for AI systems to assist with decision making is much discussed, human-AI collaboration often underperforms. Investigation into why the performance potential is not realized has revealed many factors, including (mis)trust in the AI system and mental models of AI capabilities on subjective tasks. Performance pressure is known to influence human decision making behavior, yet how it interacts with human-AI decision making is understudied. In this work, we show the effects of performance pressure on AI advice reliance when laypeople (Amazon Mechanical Turk crowdworkers) complete a common AI-assisted task (fake review detection) and thus have inherently low performance pressure. We manipulate performance pressure by leveraging people's loss aversion towards potential monetary gains when completing a task. We find that when the stakes are high, people use AI advice more appropriately than when stakes are lower, regardless of the presence of an AI explanation. Furthermore, when the AI system gives incorrect advice, people correctly discount the poor advice more often when the stakes are higher than when they are lower. We conclude by discussing the implications of how performance pressure influences AI-assisted decision making and encourage future research to incorporate performance pressure analysis.
- Abstract(参考訳): AIシステムは意思決定を支援するために多くのドメインで使われており、意思決定を支援するAIシステムの可能性は議論されているが、人間とAIのコラボレーションは、しばしば不十分である。
パフォーマンスポテンシャルが実現されない理由を調査した結果、AIシステムにおける(ミス)信頼や主観的タスクにおけるAI能力のメンタルモデルなど、多くの要因が明らかになった。
パフォーマンスのプレッシャーは人間の意思決定行動に影響を与えることが知られているが、それが人間とAIの意思決定とどのように相互作用するかは調査されていない。
本研究は,一般人(Amazon Mechanical Turkのクラウドワーカー)が共通のAI支援タスク(フェイクレビュー検出)を完了すると,パフォーマンスプレッシャーがAIアドバイス依存に与える影響を示す。
我々は、タスク完了時に、潜在的な金銭利得に対する人々の損失回避を活用することで、パフォーマンスのプレッシャーを操る。
利害関係が高い場合には、AIの説明の有無にかかわらず、利害関係が低い場合よりもAIアドバイスを適切に使用することが分かりました。
さらに、AIシステムが誤ったアドバイスを与える場合、利害関係が低い場合よりも低い場合よりも、不適切なアドバイスを正しく取り除くことができる。
我々は、パフォーマンスプレッシャーがAIによる意思決定にどのように影響するかを議論し、パフォーマンスプレッシャー分析を取り入れるよう将来の研究を奨励することで結論付けた。
関連論文リスト
- To Err Is AI! Debugging as an Intervention to Facilitate Appropriate Reliance on AI Systems [11.690126756498223]
最適な人間とAIのコラボレーションのためのビジョンは、人間のAIシステムへの「適切な依存」を必要とする。
実際には、アウト・オブ・ディストリビューションデータにおける機械学習モデルの性能格差は、データセット固有のパフォーマンスフィードバックを信頼できないものにしている。
論文 参考訳(メタデータ) (2024-09-22T09:43:27Z) - Beyond Recommender: An Exploratory Study of the Effects of Different AI
Roles in AI-Assisted Decision Making [48.179458030691286]
Recommender、Analyzer、Devil's Advocateの3つのAIの役割について検討する。
以上の結果から,各役割のタスクパフォーマンス,信頼性の適切性,ユーザエクスペリエンスにおける長所と短所が明らかとなった。
これらの洞察は、異なる状況に応じて適応的な機能的役割を持つAIアシスタントを設計する上で、貴重な意味を提供する。
論文 参考訳(メタデータ) (2024-03-04T07:32:28Z) - Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。
偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。
問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2023-04-16T11:22:59Z) - Knowing About Knowing: An Illusion of Human Competence Can Hinder
Appropriate Reliance on AI Systems [13.484359389266864]
本稿では、Dunning-Kruger Effect(DKE)がAIシステムへの適切な依存を妨げているかどうかを論じる。
DKEは、能力の低い個人が自身のスキルやパフォーマンスを過大評価しているため、メタ認知バイアスである。
その結果、パフォーマンスを過大評価する参加者は、AIシステムへの信頼度が低い傾向にあることがわかった。
論文 参考訳(メタデータ) (2023-01-25T14:26:10Z) - Improving Human-AI Collaboration With Descriptions of AI Behavior [14.904401331154062]
人々はAIシステムを使って意思決定を改善するが、しばしばAIの予測を過度に、あるいは過度に予測し、手伝わなかったよりも悪いパフォーマンスをする。
人々がAIアシスタントを適切に頼りにするために、行動記述を示すことを提案する。
論文 参考訳(メタデータ) (2023-01-06T00:33:08Z) - Advancing Human-AI Complementarity: The Impact of User Expertise and
Algorithmic Tuning on Joint Decision Making [10.890854857970488]
ユーザのドメイン知識、AIシステムのメンタルモデル、レコメンデーションへの信頼など、多くの要因がヒューマンAIチームの成功に影響を与える可能性がある。
本研究は,非自明な血管ラベル作成作業において,血管が流れているか停止しているかを被験者に示すことを目的とした。
以上の結果から,AI-Assistantからの推薦はユーザの意思決定に役立つが,AIに対するユーザベースラインのパフォーマンスや,AIエラー型の相補的チューニングといった要因は,チーム全体のパフォーマンスに大きな影響を及ぼすことが示された。
論文 参考訳(メタデータ) (2022-08-16T21:39:58Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳(メタデータ) (2022-01-26T18:53:09Z) - Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork [54.309495231017344]
AIシステムは人間中心の方法でトレーニングされ、チームのパフォーマンスに直接最適化されるべきである、と私たちは主張する。
我々は,AIレコメンデーションを受け入れるか,あるいはタスク自体を解決するかを選択する,特定のタイプのAIチームを提案する。
実世界の高精度データセット上での線形モデルと非線形モデルによる実験は、AIが最も正確であることは、最高のチームパフォーマンスに繋がらないことを示している。
論文 参考訳(メタデータ) (2020-04-27T19:06:28Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳(メタデータ) (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。