論文の概要: Can Domain Experts Rely on AI Appropriately? A Case Study on AI-Assisted Prostate Cancer MRI Diagnosis

• arxiv url: http://arxiv.org/abs/2502.03482v1
• Date: Mon, 03 Feb 2025 18:59:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:34:41.349000
• Title: Can Domain Experts Rely on AI Appropriately? A Case Study on AI-Assisted Prostate Cancer MRI Diagnosis
• Title（参考訳）: ドメインエキスパートはAIを適切に活用できるか?AI支援前立腺癌MRI診断のケーススタディ
• Authors: Chacha Chen, Han Liu, Jiamin Yang, Benjamin M. Mervak, Bora Kalaycioglu, Grace Lee, Emre Cakmakli, Matteo Bonatti, Sridhar Pudu, Osman Kahraman, Gul Gizem Pamuk, Aytekin Oto, Aritrick Chatterjee, Chenhao Tan,
• Abstract要約: MRI画像を用いた前立腺癌診断において,放射線科医と深く連携する。 インターフェースを開発し、AIアシストとパフォーマンスフィードバックがドメインエキスパートの意思決定をどのように形作るかを研究する2つの実験を行う。
• 参考スコア（独自算出の注目度）: 19.73932120146401
• License:
• Abstract: Despite the growing interest in human-AI decision making, experimental studies with domain experts remain rare, largely due to the complexity of working with domain experts and the challenges in setting up realistic experiments. In this work, we conduct an in-depth collaboration with radiologists in prostate cancer diagnosis based on MRI images. Building on existing tools for teaching prostate cancer diagnosis, we develop an interface and conduct two experiments to study how AI assistance and performance feedback shape the decision making of domain experts. In Study 1, clinicians were asked to provide an initial diagnosis (human), then view the AI's prediction, and subsequently finalize their decision (human-AI team). In Study 2 (after a memory wash-out period), the same participants first received aggregated performance statistics from Study 1, specifically their own performance, the AI's performance, and their human-AI team performance, and then directly viewed the AI's prediction before making their diagnosis (i.e., no independent initial diagnosis). These two workflows represent realistic ways that clinical AI tools might be used in practice, where the second study simulates a scenario where doctors can adjust their reliance and trust on AI based on prior performance feedback. Our findings show that, while human-AI teams consistently outperform humans alone, they still underperform the AI due to under-reliance, similar to prior studies with crowdworkers. Providing clinicians with performance feedback did not significantly improve the performance of human-AI teams, although showing AI decisions in advance nudges people to follow AI more. Meanwhile, we observe that the ensemble of human-AI teams can outperform AI alone, suggesting promising directions for human-AI collaboration.
• Abstract（参考訳）: 人間とAIの意思決定への関心が高まりつつあるにもかかわらず、ドメイン専門家との実験的研究は、多くの場合、ドメイン専門家との作業の複雑さと、現実的な実験を作成する際の課題のために、依然として稀である。 本研究では,MRI画像を用いた前立腺癌診断において,放射線科医と深く連携する。 前立腺癌を診断するための既存のツールに基づいて、我々はインターフェイスを開発し、2つの実験を行い、AIアシストとパフォーマンスフィードバックがドメインエキスパートの意思決定をどのように形作るかを研究する。 研究1では、臨床医に初期診断(人間)を依頼し、AIの予測を視察し、その決定(人間-AIチーム)を確定させた。 研究2(メモリ洗浄期間終了後)において、同じ参加者が最初に研究1から集計されたパフォーマンス統計、特にAIのパフォーマンス、人間とAIチームのパフォーマンスを受信し、診断する前にAIの予測を直接観察した(独立初期診断)。 この2つのワークフローは、臨床AIツールが実際に使用される現実的な方法を表している。第2の研究は、医師が以前のパフォーマンスフィードバックに基づいて、AIへの依存と信頼を調整するシナリオをシミュレートする。 我々の研究結果によると、人間とAIのチームは一貫して人間よりも優れていますが、クラウドワーカーによる以前の研究と同様、信頼性の低いAIよりも優れています。 パフォーマンスフィードバックを持つ臨床医を提供することは、人間とAIチームのパフォーマンスを著しく向上させるには至らなかった。 一方、人間とAIチームのアンサンブルはAIを単独で上回り、人間とAIのコラボレーションのための有望な方向性を示唆している。

関連論文リスト

• Raising the Stakes: Performance Pressure Improves AI-Assisted Decision Making [57.53469908423318]
  日常の人が共通のAI支援タスクを完了すると、パフォーマンスプレッシャーがAIアドバイスへの依存に与える影響を示す。 利害関係が高い場合には、AIの説明の有無にかかわらず、利害関係が低い場合よりもAIアドバイスを適切に使用することが分かりました。
  論文  参考訳（メタデータ） (2024-10-21T22:39:52Z)
• Improving Health Professionals' Onboarding with AI and XAI for Trustworthy Human-AI Collaborative Decision Making [3.2381492754749632]
  医療・健康を専攻する健康専門家や学生との半構造化面接の結果を報告する。 そこで我々は,脳卒中リハビリテーション評価のためのAIシステムの教材を作成するために,人間とAIのインタラクションガイドラインを構築した。 この結果から,従来のパフォーマンス指標をAIに提示する以外に,参加者はベンチマーク情報を希望していることが判明した。
  論文  参考訳（メタデータ） (2024-05-26T04:30:17Z)
• Explainable AI Enhances Glaucoma Referrals, Yet the Human-AI Team Still Falls Short of the AI Alone [6.740852152639975]
  各種のAI説明は、提供者が即時または緊急の専門紹介を必要とする患者を区別するのにどのように役立つかを検討する。 我々は、高リスク患者を特定するためのプロキシとして、通常のアイケアデータから緑内障手術のニーズを予測するための説明可能なAIアルゴリズムを構築した。 本研究は,本質的・ポストホックな説明性を取り入れ,ヒト-AIチームのパフォーマンスを評価するために,眼科医とオンライン研究を行った。
  論文  参考訳（メタデータ） (2024-05-24T03:01:20Z)
• Understanding the Effect of Counterfactual Explanations on Trust and Reliance on AI for Human-AI Collaborative Clinical Decision Making [5.381004207943597]
  本研究は,7人のセラピストと10人のレイパーを対象に,ストローク後生存者の運動の質を評価するための実験を行った。 我々は2種類のAI説明なしで、彼らのパフォーマンス、タスクの合意レベル、AIへの依存を分析した。 我々の研究は、AIモデルの精度をより正確に見積り、間違ったAI出力に対する過度な信頼を減らすために、反事実的説明の可能性について論じている。
  論文  参考訳（メタデータ） (2023-08-08T16:23:46Z)
• BO-Muse: A human expert and AI teaming framework for accelerated experimental design [58.61002520273518]
  我々のアルゴリズムは、人間の専門家が実験プロセスでリードすることを可能にする。 我々のアルゴリズムは、AIや人間よりも高速に、サブ線形に収束することを示す。
  論文  参考訳（メタデータ） (2023-03-03T02:56:05Z)
• The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies [97.5153823429076]
  この分野でのAIのメリット、課題、欠点についてレビューする。 データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
  論文  参考訳（メタデータ） (2022-12-08T23:23:39Z)
• Advancing Human-AI Complementarity: The Impact of User Expertise and Algorithmic Tuning on Joint Decision Making [10.890854857970488]
  ユーザのドメイン知識、AIシステムのメンタルモデル、レコメンデーションへの信頼など、多くの要因がヒューマンAIチームの成功に影響を与える可能性がある。 本研究は,非自明な血管ラベル作成作業において,血管が流れているか停止しているかを被験者に示すことを目的とした。 以上の結果から,AI-Assistantからの推薦はユーザの意思決定に役立つが,AIに対するユーザベースラインのパフォーマンスや,AIエラー型の相補的チューニングといった要因は,チーム全体のパフォーマンスに大きな影響を及ぼすことが示された。
  論文  参考訳（メタデータ） (2022-08-16T21:39:58Z)
• Who Goes First? Influences of Human-AI Workflow on Decision Making in Clinical Imaging [24.911186503082465]
  本研究は, 放射線医学における診断セッション開始時と, 放射線科医の仮決定後のAI支援の効果について検討した。 その結果、AI推論をレビューする前に仮回答を登録するよう求められている参加者は、アドバイスが正確かどうかに関わらず、AIに同意する確率が低く、AIと意見の相違がある場合には、同僚の第二の意見を求める確率が低いことがわかった。
  論文  参考訳（メタデータ） (2022-05-19T16:59:25Z)
• Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
  Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。 これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
  論文  参考訳（メタデータ） (2022-01-26T18:53:09Z)
• Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork [54.309495231017344]
  AIシステムは人間中心の方法でトレーニングされ、チームのパフォーマンスに直接最適化されるべきである、と私たちは主張する。 我々は,AIレコメンデーションを受け入れるか,あるいはタスク自体を解決するかを選択する,特定のタイプのAIチームを提案する。 実世界の高精度データセット上での線形モデルと非線形モデルによる実験は、AIが最も正確であることは、最高のチームパフォーマンスに繋がらないことを示している。
  論文  参考訳（メタデータ） (2020-04-27T19:06:28Z)
• Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making [53.62514158534574]
  ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。 信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
  論文  参考訳（メタデータ） (2020-01-07T15:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。