論文の概要: Explainable AI Enhances Glaucoma Referrals, Yet the Human-AI Team Still Falls Short of the AI Alone
- arxiv url: http://arxiv.org/abs/2407.11974v1
- Date: Fri, 24 May 2024 03:01:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 11:50:18.599136
- Title: Explainable AI Enhances Glaucoma Referrals, Yet the Human-AI Team Still Falls Short of the AI Alone
- Title(参考訳): AIは緑内障を治療するが、人間とAIのチームはAIに勝てない
- Authors: Catalina Gomez, Ruolin Wang, Katharina Breininger, Corinne Casey, Chris Bradley, Mitchell Pavlak, Alex Pham, Jithin Yohannan, Mathias Unberath,
- Abstract要約: 各種のAI説明は、提供者が即時または緊急の専門紹介を必要とする患者を区別するのにどのように役立つかを検討する。
我々は、高リスク患者を特定するためのプロキシとして、通常のアイケアデータから緑内障手術のニーズを予測するための説明可能なAIアルゴリズムを構築した。
本研究は,本質的・ポストホックな説明性を取り入れ,ヒト-AIチームのパフォーマンスを評価するために,眼科医とオンライン研究を行った。
- 参考スコア(独自算出の注目度): 6.740852152639975
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Primary care providers are vital for initial triage and referrals to specialty care. In glaucoma, asymptomatic and fast progression can lead to vision loss, necessitating timely referrals to specialists. However, primary eye care providers may not identify urgent cases, potentially delaying care. Artificial Intelligence (AI) offering explanations could enhance their referral decisions. We investigate how various AI explanations help providers distinguish between patients needing immediate or non-urgent specialist referrals. We built explainable AI algorithms to predict glaucoma surgery needs from routine eyecare data as a proxy for identifying high-risk patients. We incorporated intrinsic and post-hoc explainability and conducted an online study with optometrists to assess human-AI team performance, measuring referral accuracy and analyzing interactions with AI, including agreement rates, task time, and user experience perceptions. AI support enhanced referral accuracy among 87 participants (59.9%/50.8% with/without AI), though Human-AI teams underperformed compared to AI alone. Participants believed they included AI advice more when using the intrinsic model, and perceived it more useful and promising. Without explanations, deviations from AI recommendations increased. AI support did not increase workload, confidence, and trust, but reduced challenges. On a separate test set, our black-box and intrinsic models achieved an accuracy of 77% and 71%, respectively, in predicting surgical outcomes. We identify opportunities of human-AI teaming for glaucoma management in primary eye care, noting that while AI enhances referral accuracy, it also shows a performance gap compared to AI alone, even with explanations. Human involvement remains essential in medical decision making, underscoring the need for future research to optimize collaboration, ensuring positive experiences and safe AI use.
- Abstract(参考訳): プライマリ・ケア・プロバイダは、最初のトリアージと専門医療への参照に不可欠である。
緑内障では、無症状で急速な進行は視力喪失を招き、専門医にタイムリーな紹介を必要とする。
しかし、プライマリ・アイケア・プロバイダーは緊急の症例を特定できず、治療を遅らせる可能性がある。
説明を提供する人工知能(AI)は、彼らの参照決定を強化する可能性がある。
各種のAI説明は、提供者が即時または緊急の専門紹介を必要とする患者を区別するのにどのように役立つかを検討する。
我々は、高リスク患者を特定するためのプロキシとして、日常的なアイケアデータから緑内障手術のニーズを予測するための説明可能なAIアルゴリズムを構築した。
我々は、本質的・ポストホックな説明可能性を導入し、人-AIチームのパフォーマンスを評価し、基準精度を測定し、合意率、タスク時間、ユーザエクスペリエンスの知覚を含むAIとのインタラクションを分析するためのオンライン調査を行った。
AIサポートは87人の参加者(59.9%/50.8%のAI使用/非使用)の間で参照精度を向上させたが、人間とAIのチームはAI単独と比較してパフォーマンスが劣った。
参加者は、本質的なモデルを使用する場合、AIアドバイスがより多く含まれており、より有用で有望であると感じた。
説明がないと、AIレコメンデーションからの逸脱が増加した。
AIサポートは、作業負荷、信頼性、信頼を高めるものではなく、課題を減らした。
手術結果の予測にはブラックボックスと内在モデルがそれぞれ77%, 内在モデルが71%であった。
プライマリアイケアにおける緑内障管理のための人間-AIコラボレーションの機会を特定し、AIが参照精度を高める一方で、説明においても、AI単独と比較してパフォーマンスのギャップも示していることを指摘する。
人間の関与は、医学的な意思決定において不可欠であり、コラボレーションを最適化し、ポジティブな経験を確実にし、AIの使用を安全にするための将来の研究の必要性を強調している。
関連論文リスト
- Raising the Stakes: Performance Pressure Improves AI-Assisted Decision Making [57.53469908423318]
日常の人が共通のAI支援タスクを完了すると、パフォーマンスプレッシャーがAIアドバイスへの依存に与える影響を示す。
利害関係が高い場合には、AIの説明の有無にかかわらず、利害関係が低い場合よりもAIアドバイスを適切に使用することが分かりました。
論文 参考訳(メタデータ) (2024-10-21T22:39:52Z) - The Limits of Perception: Analyzing Inconsistencies in Saliency Maps in XAI [0.0]
説明可能な人工知能(XAI)は、AIの意思決定プロセスの解明に不可欠である。
ブラックボックス」として機能し、その理由が曖昧でアクセスできないため、誤診のリスクが高まる。
この透明性へのシフトは、単に有益であるだけでなく、医療におけるAI統合の責任を負うための重要なステップでもある。
論文 参考訳(メタデータ) (2024-03-23T02:15:23Z) - Understanding the Effect of Counterfactual Explanations on Trust and
Reliance on AI for Human-AI Collaborative Clinical Decision Making [5.381004207943597]
本研究は,7人のセラピストと10人のレイパーを対象に,ストローク後生存者の運動の質を評価するための実験を行った。
我々は2種類のAI説明なしで、彼らのパフォーマンス、タスクの合意レベル、AIへの依存を分析した。
我々の研究は、AIモデルの精度をより正確に見積り、間違ったAI出力に対する過度な信頼を減らすために、反事実的説明の可能性について論じている。
論文 参考訳(メタデータ) (2023-08-08T16:23:46Z) - The Role of AI in Drug Discovery: Challenges, Opportunities, and
Strategies [97.5153823429076]
この分野でのAIのメリット、課題、欠点についてレビューする。
データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
論文 参考訳(メタデータ) (2022-12-08T23:23:39Z) - Seamful XAI: Operationalizing Seamful Design in Explainable AI [59.89011292395202]
AIシステムのミスは必然的であり、技術的制限と社会技術的ギャップの両方から生じる。
本稿では, 社会工学的・インフラ的ミスマッチを明らかにすることにより, シームレスな設計がAIの説明可能性を高めることを提案する。
43人のAI実践者と実際のエンドユーザでこのプロセスを探求します。
論文 参考訳(メタデータ) (2022-11-12T21:54:05Z) - Advancing Human-AI Complementarity: The Impact of User Expertise and
Algorithmic Tuning on Joint Decision Making [10.890854857970488]
ユーザのドメイン知識、AIシステムのメンタルモデル、レコメンデーションへの信頼など、多くの要因がヒューマンAIチームの成功に影響を与える可能性がある。
本研究は,非自明な血管ラベル作成作業において,血管が流れているか停止しているかを被験者に示すことを目的とした。
以上の結果から,AI-Assistantからの推薦はユーザの意思決定に役立つが,AIに対するユーザベースラインのパフォーマンスや,AIエラー型の相補的チューニングといった要因は,チーム全体のパフォーマンスに大きな影響を及ぼすことが示された。
論文 参考訳(メタデータ) (2022-08-16T21:39:58Z) - Who Goes First? Influences of Human-AI Workflow on Decision Making in
Clinical Imaging [24.911186503082465]
本研究は, 放射線医学における診断セッション開始時と, 放射線科医の仮決定後のAI支援の効果について検討した。
その結果、AI推論をレビューする前に仮回答を登録するよう求められている参加者は、アドバイスが正確かどうかに関わらず、AIに同意する確率が低く、AIと意見の相違がある場合には、同僚の第二の意見を求める確率が低いことがわかった。
論文 参考訳(メタデータ) (2022-05-19T16:59:25Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳(メタデータ) (2022-01-26T18:53:09Z) - To Trust or to Think: Cognitive Forcing Functions Can Reduce
Overreliance on AI in AI-assisted Decision-making [4.877174544937129]
AIによる意思決定支援ツールによってサポートされる人々は、しばしばAIに過度に依存します。
AIの決定に説明を加えることは、過度な信頼を減らすものではありません。
我々の研究は、人間の認知モチベーションが説明可能なAIソリューションの有効性を損なうことを示唆している。
論文 参考訳(メタデータ) (2021-02-19T00:38:53Z) - Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork [54.309495231017344]
AIシステムは人間中心の方法でトレーニングされ、チームのパフォーマンスに直接最適化されるべきである、と私たちは主張する。
我々は,AIレコメンデーションを受け入れるか,あるいはタスク自体を解決するかを選択する,特定のタイプのAIチームを提案する。
実世界の高精度データセット上での線形モデルと非線形モデルによる実験は、AIが最も正確であることは、最高のチームパフォーマンスに繋がらないことを示している。
論文 参考訳(メタデータ) (2020-04-27T19:06:28Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳(メタデータ) (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。