論文の概要: To Err Is AI! Debugging as an Intervention to Facilitate Appropriate Reliance on AI Systems
- arxiv url: http://arxiv.org/abs/2409.14377v1
- Date: Sun, 22 Sep 2024 09:43:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 23:04:03.877348
- Title: To Err Is AI! Debugging as an Intervention to Facilitate Appropriate Reliance on AI Systems
- Title（参考訳）: AIシステムへの適切な信頼性を実現するための介入としてデバッグする
- Authors: Gaole He, Abri Bharos, Ujwal Gadiraju,
- Abstract要約: 最適な人間とAIのコラボレーションのためのビジョンは、人間のAIシステムへの「適切な依存」を必要とする。
実際には、アウト・オブ・ディストリビューションデータにおける機械学習モデルの性能格差は、データセット固有のパフォーマンスフィードバックを信頼できないものにしている。
- 参考スコア（独自算出の注目度）: 11.690126756498223
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Powerful predictive AI systems have demonstrated great potential in augmenting human decision making. Recent empirical work has argued that the vision for optimal human-AI collaboration requires 'appropriate reliance' of humans on AI systems. However, accurately estimating the trustworthiness of AI advice at the instance level is quite challenging, especially in the absence of performance feedback pertaining to the AI system. In practice, the performance disparity of machine learning models on out-of-distribution data makes the dataset-specific performance feedback unreliable in human-AI collaboration. Inspired by existing literature on critical thinking and a critical mindset, we propose the use of debugging an AI system as an intervention to foster appropriate reliance. In this paper, we explore whether a critical evaluation of AI performance within a debugging setting can better calibrate users' assessment of an AI system and lead to more appropriate reliance. Through a quantitative empirical study (N = 234), we found that our proposed debugging intervention does not work as expected in facilitating appropriate reliance. Instead, we observe a decrease in reliance on the AI system after the intervention -- potentially resulting from an early exposure to the AI system's weakness. We explore the dynamics of user confidence and user estimation of AI trustworthiness across groups with different performance levels to help explain how inappropriate reliance patterns occur. Our findings have important implications for designing effective interventions to facilitate appropriate reliance and better human-AI collaboration.
- Abstract（参考訳）: 強力な予測AIシステムは、人間の意思決定を増強する大きな可能性を証明している。
最近の実証研究は、最適な人間とAIのコラボレーションのビジョンは、AIシステムに対する人間の「適切な依存」を必要とすると主張している。
しかし、特にAIシステムに関連するパフォーマンスフィードバックがない場合には、インスタンスレベルでAIアドバイスの信頼性を正確に見積もることは非常に難しい。
実際には、アウト・オブ・ディストリビューションデータにおける機械学習モデルのパフォーマンス格差は、データセット固有のパフォーマンスフィードバックを、人間とAIのコラボレーションでは信頼できないものにしている。
批判的思考と批判的マインドセットに関する既存の文献にヒントを得て、適切な信頼を育むための介入として、AIシステムをデバッグすることを提案する。
本稿では,デバッギング設定におけるAI性能の批判的評価が,ユーザのAIシステム評価を校正し,より適切な信頼性をもたらすかどうかを検討する。
定量的実証研究(N = 234)により,提案するデバッグ介入は,適切な依存を促す上では期待通りに機能しないことがわかった。
その代わりに、介入後のAIシステムへの依存の減少を観察します。
我々は、不適切な信頼パターンの発生を説明するために、異なるパフォーマンスレベルを持つグループ間でのユーザ信頼度とAI信頼度の推定のダイナミクスについて検討する。
本研究は、適切な信頼とより良い人間とAIのコラボレーションを促進するために効果的な介入を設計する上で重要な意味を持つ。
関連論文リスト
- Raising the Stakes: Performance Pressure Improves AI-Assisted Decision Making [57.53469908423318]
日常の人が共通のAI支援タスクを完了すると、パフォーマンスプレッシャーがAIアドバイスへの依存に与える影響を示す。
利害関係が高い場合には、AIの説明の有無にかかわらず、利害関係が低い場合よりもAIアドバイスを適切に使用することが分かりました。
論文 参考訳（メタデータ） (2024-10-21T22:39:52Z) - Negotiating the Shared Agency between Humans & AI in the Recommender System [1.4249472316161877]
ユーザエージェンシーに関する懸念は、固有の不透明性(情報非対称性)とアルゴリズムにおける一方的な出力(パワー非対称性)の性質から生じている。
我々は,エージェントの種類がユーザの知覚や経験にどのように影響するかを理解し,人間とAIの対話システムのためのガイドラインや設計を洗練するための実証的な証拠を提供する。
論文 参考訳（メタデータ） (2024-03-23T19:23:08Z) - Beyond Recommender: An Exploratory Study of the Effects of Different AI
Roles in AI-Assisted Decision Making [48.179458030691286]
Recommender、Analyzer、Devil's Advocateの3つのAIの役割について検討する。
以上の結果から,各役割のタスクパフォーマンス,信頼性の適切性,ユーザエクスペリエンスにおける長所と短所が明らかとなった。
これらの洞察は、異なる状況に応じて適応的な機能的役割を持つAIアシスタントを設計する上で、貴重な意味を提供する。
論文 参考訳（メタデータ） (2024-03-04T07:32:28Z) - Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する
AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。
本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
論文 参考訳（メタデータ） (2024-02-21T08:29:42Z) - Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。
偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。
問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
論文 参考訳（メタデータ） (2023-04-16T11:22:59Z) - Knowing About Knowing: An Illusion of Human Competence Can Hinder
Appropriate Reliance on AI Systems [13.484359389266864]
本稿では、Dunning-Kruger Effect(DKE)がAIシステムへの適切な依存を妨げているかどうかを論じる。
DKEは、能力の低い個人が自身のスキルやパフォーマンスを過大評価しているため、メタ認知バイアスである。
その結果、パフォーマンスを過大評価する参加者は、AIシステムへの信頼度が低い傾向にあることがわかった。
論文 参考訳（メタデータ） (2023-01-25T14:26:10Z) - Advancing Human-AI Complementarity: The Impact of User Expertise and
Algorithmic Tuning on Joint Decision Making [10.890854857970488]
ユーザのドメイン知識、AIシステムのメンタルモデル、レコメンデーションへの信頼など、多くの要因がヒューマンAIチームの成功に影響を与える可能性がある。
本研究は,非自明な血管ラベル作成作業において,血管が流れているか停止しているかを被験者に示すことを目的とした。
以上の結果から,AI-Assistantからの推薦はユーザの意思決定に役立つが,AIに対するユーザベースラインのパフォーマンスや,AIエラー型の相補的チューニングといった要因は,チーム全体のパフォーマンスに大きな影響を及ぼすことが示された。
論文 参考訳（メタデータ） (2022-08-16T21:39:58Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳（メタデータ） (2022-01-26T18:53:09Z) - Will We Trust What We Don't Understand? Impact of Model Interpretability
and Outcome Feedback on Trust in AI [0.0]
我々は、AI支援予測タスクにおける、解釈可能性と結果フィードバックがAIの信頼度および人的パフォーマンスに与える影響を分析する。
解釈可能性によって信頼性が向上することはなく、結果のフィードバックははるかに大きく、信頼性が高くなりました。
論文 参考訳（メタデータ） (2021-11-16T04:35:34Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳（メタデータ） (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。