論文の概要: On the Limits of Selective AI Prediction: A Case Study in Clinical Decision Making

• arxiv url: http://arxiv.org/abs/2508.07617v1
• Date: Mon, 11 Aug 2025 04:53:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.945401
• Title: On the Limits of Selective AI Prediction: A Case Study in Clinical Decision Making
• Title（参考訳）: 選択型AI予測の限界について:臨床意思決定を事例として
• Authors: Sarah Jabbour, David Fouhey, Nikola Banovic, Stephanie D. Shepard, Ella Kazerooni, Michael W. Sjoding, Jenna Wiens,
• Abstract要約: 臨床的文脈における人的決定に対する選択的予測の効果について検討した。 以上の結果から,選択予測は不正確なAIの負の効果を判定精度の観点から軽減することが明らかとなった。
• 参考スコア（独自算出の注目度）: 13.982768346782386
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI has the potential to augment human decision making. However, even high-performing models can produce inaccurate predictions when deployed. These inaccuracies, combined with automation bias, where humans overrely on AI predictions, can result in worse decisions. Selective prediction, in which potentially unreliable model predictions are hidden from users, has been proposed as a solution. This approach assumes that when AI abstains and informs the user so, humans make decisions as they would without AI involvement. To test this assumption, we study the effects of selective prediction on human decisions in a clinical context. We conducted a user study of 259 clinicians tasked with diagnosing and treating hospitalized patients. We compared their baseline performance without any AI involvement to their AI-assisted accuracy with and without selective prediction. Our findings indicate that selective prediction mitigates the negative effects of inaccurate AI in terms of decision accuracy. Compared to no AI assistance, clinician accuracy declined when shown inaccurate AI predictions (66% [95% CI: 56%-75%] vs. 56% [95% CI: 46%-66%]), but recovered under selective prediction (64% [95% CI: 54%-73%]). However, while selective prediction nearly maintains overall accuracy, our results suggest that it alters patterns of mistakes: when informed the AI abstains, clinicians underdiagnose (18% increase in missed diagnoses) and undertreat (35% increase in missed treatments) compared to no AI input at all. Our findings underscore the importance of empirically validating assumptions about how humans engage with AI within human-AI systems.
• Abstract（参考訳）: AIは人間の意思決定を強化する可能性がある。 しかし、ハイパフォーマンスモデルでさえ、デプロイ時に不正確な予測を生成することができる。 これらの不正確さと、人間がAI予測を過度に監視する自動化バイアスが組み合わさって、決定が悪化する可能性がある。 ユーザから潜在的に信頼できないモデル予測を隠蔽する選択予測が,ソリューションとして提案されている。 このアプローチでは、AIがユーザを棄権し、ユーザに通知すると、AIの関与なしに人間が決定を下す、と仮定する。 この仮定を検証するために,臨床コンテキストにおける人的決定に対する選択的予測の効果について検討した。 入院患者の診断・治療に携わる臨床医259名を対象に調査を行った。 我々はAIを介さずにベースラインのパフォーマンスをAI支援の精度と選択的予測を伴わずに比較した。 以上の結果から,選択予測は不正確なAIの負の効果を判定精度の観点から軽減することが明らかとなった。 不正確なAI予測(66% [95% CI: 56%-75%] vs. 56% [95% CI: 46%-66%])を示したが、選択的予測(64% [95% CI: 54%-73%)で回復した。 しかし、選択予測は全体的な精度をほぼ維持するが、我々の結果は、AIの異常を知らせると、臨床医は、AI入力が全くないのに比べて、診断が18%増加し、治療が過小評価される(35%増加)。 我々の発見は、人間がAIシステム内でどのようにAIと関わるかという仮定を実証的に検証することの重要性を浮き彫りにした。

関連論文リスト

• Beyond Black-Box AI: Interpretable Hybrid Systems for Dementia Care [2.4339626079536925]
  近年の大規模言語モデル(LLM)のブームは、人工知能(AI)システムが医療診断に役立つという期待を再燃させた。 ベンチマークスコアはめちゃくちゃですが、LCMアシスタントはまだベッドサイドで測定可能な改善を提供していません。 このスクーピングレビューは、臨床現場で実践的な貢献をするためにAIが制限されている領域を強調することを目的としている。
  論文  参考訳（メタデータ） (2025-07-02T01:43:06Z)
• Uncertainty-aware abstention in medical diagnosis based on medical texts [87.88110503208016]
  本研究は,AI支援医療診断における信頼性の重要課題について論じる。 本研究は,診断に自信がなければ,診断システムによる意思決定の回避を可能にする選択予測手法に焦点をあてる。 我々は、選択予測タスクにおける信頼性を高めるための新しい最先端手法であるHUQ-2を紹介する。
  論文  参考訳（メタデータ） (2025-02-25T10:15:21Z)
• AI-Assisted Decision Making with Human Learning [8.598431584462944]
  多くの場合、アルゴリズムの優れた性能にもかかわらず、最終的な決定は人間の手に委ねられている。 本稿では,人間がアルゴリズムと繰り返し対話することで学習する,AIによる意思決定設定について検討する。 我々は、アルゴリズムのモデルと人間のモデルとの相違が根本的なトレードオフを生み出すことを観察する。
  論文  参考訳（メタデータ） (2025-02-18T17:08:21Z)
• Human-Alignment Influences the Utility of AI-assisted Decision Making [16.732483972136418]
  我々は,アライメントの程度が,AIによる意思決定の有用性に与える影響について検討する。 以上の結果から,AIによる意思決定におけるアライメントの程度と有効性との関連が示唆された。
  論文  参考訳（メタデータ） (2025-01-23T19:01:47Z)
• Using AI Uncertainty Quantification to Improve Human Decision-Making [14.878886078377562]
  AI不確実性定量化(UQ)は、AI予測だけでなく、人間の意思決定を改善する可能性がある。 2つのオンライン行動実験において、厳格なスコアリングルールを用いて、事例レベルのUQにおける人的意思決定への影響を評価した。
  論文  参考訳（メタデータ） (2023-09-19T18:01:25Z)
• Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
  AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。 偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。 問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2023-04-16T11:22:59Z)
• Private, fair and accurate: Training large-scale, privacy-preserving AI models in medical imaging [47.99192239793597]
  我々は,AIモデルのプライバシ保護トレーニングが,非プライベートトレーニングと比較して精度と公平性に与える影響を評価した。 我々の研究は、実際の臨床データセットの困難な現実的な状況下では、診断深層学習モデルのプライバシー保護トレーニングは、優れた診断精度と公正さで可能であることを示しています。
  論文  参考訳（メタデータ） (2023-02-03T09:49:13Z)
• Does Explainable Artificial Intelligence Improve Human Decision-Making? [17.18994675838646]
  我々は、AI(制御)を使わずに客観的な人間の意思決定精度を、AI予測(説明なし)とAI予測(説明なし)とを比較して評価する。 あらゆる種類のAI予測は、ユーザの判断精度を改善する傾向がありますが、説明可能なAIが有意義な影響を与えるという決定的な証拠はありません。 我々の結果は、少なくともいくつかの状況において、説明可能なAIが提供する「なぜ」情報は、ユーザの意思決定を促進することができないことを示唆している。
  論文  参考訳（メタデータ） (2020-06-19T15:46:13Z)
• Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork [54.309495231017344]
  AIシステムは人間中心の方法でトレーニングされ、チームのパフォーマンスに直接最適化されるべきである、と私たちは主張する。 我々は,AIレコメンデーションを受け入れるか,あるいはタスク自体を解決するかを選択する,特定のタイプのAIチームを提案する。 実世界の高精度データセット上での線形モデルと非線形モデルによる実験は、AIが最も正確であることは、最高のチームパフォーマンスに繋がらないことを示している。
  論文  参考訳（メタデータ） (2020-04-27T19:06:28Z)
• Artificial Artificial Intelligence: Measuring Influence of AI 'Assessments' on Moral Decision-Making [48.66982301902923]
  ドナー腎アロケーションに関する道徳的意思決定に対する疑似AIからのフィードバックの効果を検討した。 患者が腎臓を受容器するかどうかの判断は、AIによって与えられると認識される参加者自身の意思決定に関するフィードバックに影響される可能性があるという証拠がいくつか見出された。
  論文  参考訳（メタデータ） (2020-01-13T14:15:18Z)
• Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making [53.62514158534574]
  ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。 信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
  論文  参考訳（メタデータ） (2020-01-07T15:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。