論文の概要: Toward the Autonomous AI Doctor: Quantitative Benchmarking of an Autonomous Agentic AI Versus Board-Certified Clinicians in a Real World Setting
- arxiv url: http://arxiv.org/abs/2507.22902v1
- Date: Fri, 27 Jun 2025 19:04:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-03 20:19:02.920727
- Title: Toward the Autonomous AI Doctor: Quantitative Benchmarking of an Autonomous Agentic AI Versus Board-Certified Clinicians in a Real World Setting
- Title（参考訳）: 自律型AIドクターを目指して - 実世界における自律型エージェント型AIVersusボード認定臨床医の定量的ベンチマーク
- Authors: Hashim Hayat, Maksim Kudrautsau, Evgeniy Makarov, Vlad Melnichenko, Tim Tsykunou, Piotr Varaksin, Matt Pavelle, Adam Z. Oskowitz,
- Abstract要約: 2030年までには、世界中で1100万人の医療従事者が不足していると予測されている。
エンド・ツー・エンドの大規模言語モデル(LLM)ベースのAIシステムは、実際の臨床実践において厳格に評価されていない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Background: Globally we face a projected shortage of 11 million healthcare practitioners by 2030, and administrative burden consumes 50% of clinical time. Artificial intelligence (AI) has the potential to help alleviate these problems. However, no end-to-end autonomous large language model (LLM)-based AI system has been rigorously evaluated in real-world clinical practice. In this study, we evaluated whether a multi-agent LLM-based AI framework can function autonomously as an AI doctor in a virtual urgent care setting. Methods: We retrospectively compared the performance of the multi-agent AI system Doctronic and board-certified clinicians across 500 consecutive urgent-care telehealth encounters. The primary end points: diagnostic concordance, treatment plan consistency, and safety metrics, were assessed by blinded LLM-based adjudication and expert human review. Results: The top diagnosis of Doctronic and clinician matched in 81% of cases, and the treatment plan aligned in 99.2% of cases. No clinical hallucinations occurred (e.g., diagnosis or treatment not supported by clinical findings). In an expert review of discordant cases, AI performance was superior in 36.1%, and human performance was superior in 9.3%; the diagnoses were equivalent in the remaining cases. Conclusions: In this first large-scale validation of an autonomous AI doctor, we demonstrated strong diagnostic and treatment plan concordance with human clinicians, with AI performance matching and in some cases exceeding that of practicing clinicians. These findings indicate that multi-agent AI systems achieve comparable clinical decision-making to human providers and offer a potential solution to healthcare workforce shortages.
- Abstract（参考訳）: 背景:2030年までに1100万人の医療従事者の不足に直面しており、管理上の負担は臨床時間の50%を消費している。
人工知能(AI)はこれらの問題を緩和する可能性がある。
しかし、現実的な臨床実践において、エンドツーエンドの大規模言語モデル(LLM)ベースのAIシステムは厳格に評価されていない。
本研究では,マルチエージェントLLMベースのAIフレームワークが,仮想緊急ケア環境でAI医師として自律的に機能するかどうかを検証した。
方法: 多エージェント型AIシステムであるDoctronic と Board-certified Clinicalians を500回連続の緊急医療遠隔医療で比較した。
診断基準, 治療計画の整合性, 安全性の指標は, 盲点のLCMに基づく適応と専門家による人間の評価によって評価された。
結果: ドドトロニックと臨床医の診断は81%で一致し, 治療計画も99.2%で一致した。
臨床幻覚は生じなかった(例, 臨床所見では認められなかった診断, 治療)。
専門家による不協和症例のレビューでは、AIのパフォーマンスは36.1%で、人間のパフォーマンスは9.3%で、診断は残りのケースで同等であった。
結論: 自律型AI医師の大規模な検証では,ヒト臨床医との強い診断・治療計画の一致を実証した。
これらの結果は、マルチエージェントAIシステムは、人間の提供者に対して同等の臨床的意思決定を達成し、医療従事者不足に対する潜在的な解決策を提供することを示している。
関連論文リスト
- AI-based Clinical Decision Support for Primary Care: A Real-World Study [1.2764851761863103]
介護における大規模言語モデルに基づく臨床意思決定支援の効果について検討した。
我々は、潜在的なドキュメンテーションと臨床的意思決定エラーを特定することによって、臨床医の安全ネットとして機能するツールであるAI Consultを研究した。
論文 参考訳（メタデータ） (2025-07-22T18:37:33Z) - An Agentic System for Rare Disease Diagnosis with Traceable Reasoning [58.78045864541539]
大型言語モデル(LLM)を用いた最初のまれな疾患診断エージェントシステムであるDeepRareを紹介する。
DeepRareは、まれな疾患の診断仮説を分類し、それぞれに透明な推論の連鎖が伴う。
このシステムは2,919の疾患に対して異常な診断性能を示し、1013の疾患に対して100%の精度を達成している。
論文 参考訳（メタデータ） (2025-06-25T13:42:26Z) - Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。
本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。
このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
論文 参考訳（メタデータ） (2025-03-06T18:35:39Z) - A Scalable Approach to Benchmarking the In-Conversation Differential Diagnostic Accuracy of a Health AI [0.0]
本研究では、健康AIシステムを評価するためのスケーラブルなベンチマーク手法を提案する。
提案手法では,14の専門分野に400の検証済み臨床ヴィグネットを用いて,現実的な臨床行為をシミュレートするためにAIを利用した患者アクターを用いた。
8月は81.8%(327/400件)の診断精度、85.0%(340/400件)のトップ2の診断精度を達成し、従来の症状チェッカーを上回った。
論文 参考訳（メタデータ） (2024-12-17T05:02:33Z) - Medchain: Bridging the Gap Between LLM Agents and Clinical Practice through Interactive Sequential Benchmarking [58.25862290294702]
臨床ワークフローの5つの重要な段階をカバーする12,163の臨床症例のデータセットであるMedChainを提示する。
フィードバック機構とMCase-RAGモジュールを統合したAIシステムであるMedChain-Agentも提案する。
論文 参考訳（メタデータ） (2024-12-02T15:25:02Z) - AI Workflow, External Validation, and Development in Eye Disease Diagnosis [5.940140611616894]
AIは診断精度が保証されるが、臨床および多様な集団の検証が不十分なため、現実の応用問題に直面している。
本研究は、年齢関連黄斑変性(AMD)診断と分類重症度に関するケーススタディを通じて、医療用AIの下流アカウンタビリティのギャップに対処する。
論文 参考訳（メタデータ） (2024-09-23T15:01:09Z) - TrialBench: Multi-Modal Artificial Intelligence-Ready Clinical Trial Datasets [54.98321887435557]
本稿では, マルチモーダル入力特徴と臨床治験設計における8つの重要な予測課題を網羅した, 精巧にキュレートされた23個のAI対応データセットについて述べる。
データセットのユーザビリティと信頼性を確保するため、各タスクに基本的な検証方法を提供する。
このようなオープンアクセスデータセットが利用可能になることは、臨床試験設計のための高度なAIアプローチの開発を促進することを期待する。
論文 参考訳（メタデータ） (2024-06-30T09:13:10Z) - AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。
この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。
高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
論文 参考訳（メタデータ） (2024-02-15T06:46:48Z) - Beyond Direct Diagnosis: LLM-based Multi-Specialist Agent Consultation
for Automatic Diagnosis [30.943705201552643]
本研究では,潜在的な疾患に対するエージェントの確率分布を適応的に融合させることにより,現実世界の診断過程をモデル化する枠組みを提案する。
提案手法では,パラメータ更新とトレーニング時間を大幅に短縮し,効率と実用性を向上する。
論文 参考訳（メタデータ） (2024-01-29T12:25:30Z) - Towards Conversational Diagnostic AI [32.84876349808714]
本稿では,診断対話に最適化されたLarge Language Model (LLM)ベースのAIシステムであるAMIE(Articulate Medical Intelligence Explorer)を紹介する。
AMIEは、さまざまな疾患条件にまたがって学習をスケールするための自動フィードバック機構を備えた、セルフプレイベースのシミュレート環境を使用する。
AMIEの診断精度は, 専門医によると32例中28例, 患者アクターでは26例中24例で高い成績を示した。
論文 参考訳（メタデータ） (2024-01-11T04:25:06Z) - Advancing COVID-19 Diagnosis with Privacy-Preserving Collaboration in
Artificial Intelligence [79.038671794961]
我々はUCADI(Unified CT-COVID AI Diagnostic Initiative)を立ち上げ、各ホスト機関でAIモデルを分散的にトレーニングし、独立して実行することができる。
本研究は,中国とイギリスに所在する23の病院で採取した3,336例の胸部CT9,573例について検討した。
論文 参考訳（メタデータ） (2021-11-18T00:43:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。