論文の概要: Towards Conversational Diagnostic AI
- arxiv url: http://arxiv.org/abs/2401.05654v1
- Date: Thu, 11 Jan 2024 04:25:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-12 19:56:16.644758
- Title: Towards Conversational Diagnostic AI
- Title(参考訳): 会話型診断AIを目指して
- Authors: Tao Tu, Anil Palepu, Mike Schaekermann, Khaled Saab, Jan Freyberg,
Ryutaro Tanno, Amy Wang, Brenna Li, Mohamed Amin, Nenad Tomasev, Shekoofeh
Azizi, Karan Singhal, Yong Cheng, Le Hou, Albert Webson, Kavita Kulkarni, S
Sara Mahdavi, Christopher Semturs, Juraj Gottweis, Joelle Barral, Katherine
Chou, Greg S Corrado, Yossi Matias, Alan Karthikesalingam and Vivek Natarajan
- Abstract要約: 本稿では,診断対話に最適化されたLarge Language Model (LLM)ベースのAIシステムであるAMIE(Articulate Medical Intelligence Explorer)を紹介する。
AMIEは、さまざまな疾患条件にまたがって学習をスケールするための自動フィードバック機構を備えた、セルフプレイベースのシミュレート環境を使用する。
AMIEの診断精度は, 専門医によると32例中28例, 患者アクターでは26例中24例で高い成績を示した。
- 参考スコア(独自算出の注目度): 32.84876349808714
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: At the heart of medicine lies the physician-patient dialogue, where skillful
history-taking paves the way for accurate diagnosis, effective management, and
enduring trust. Artificial Intelligence (AI) systems capable of diagnostic
dialogue could increase accessibility, consistency, and quality of care.
However, approximating clinicians' expertise is an outstanding grand challenge.
Here, we introduce AMIE (Articulate Medical Intelligence Explorer), a Large
Language Model (LLM) based AI system optimized for diagnostic dialogue.
AMIE uses a novel self-play based simulated environment with automated
feedback mechanisms for scaling learning across diverse disease conditions,
specialties, and contexts. We designed a framework for evaluating
clinically-meaningful axes of performance including history-taking, diagnostic
accuracy, management reasoning, communication skills, and empathy. We compared
AMIE's performance to that of primary care physicians (PCPs) in a randomized,
double-blind crossover study of text-based consultations with validated patient
actors in the style of an Objective Structured Clinical Examination (OSCE). The
study included 149 case scenarios from clinical providers in Canada, the UK,
and India, 20 PCPs for comparison with AMIE, and evaluations by specialist
physicians and patient actors. AMIE demonstrated greater diagnostic accuracy
and superior performance on 28 of 32 axes according to specialist physicians
and 24 of 26 axes according to patient actors. Our research has several
limitations and should be interpreted with appropriate caution. Clinicians were
limited to unfamiliar synchronous text-chat which permits large-scale
LLM-patient interactions but is not representative of usual clinical practice.
While further research is required before AMIE could be translated to
real-world settings, the results represent a milestone towards conversational
diagnostic AI.
- Abstract(参考訳): 医学の中心には医師と患者との対話があり、熟練した歴史取得が正確な診断、効果的な管理、持続的な信頼への道を開く。
診断対話が可能な人工知能(AI)システムは、アクセシビリティ、一貫性、ケアの質を高めることができる。
しかし、臨床医の専門知識を近似することは大きな課題である。
本稿では,診断対話に最適化されたLarge Language Model (LLM)ベースのAIシステムであるAMIE(Articulate Medical Intelligence Explorer)を紹介する。
AMIEは、さまざまな疾患状況、専門性、コンテキストにまたがる学習をスケールするための自動フィードバック機構を備えた、新しいセルフプレイベースのシミュレート環境を使用する。
我々は, 臨床評価指標として, 履歴取得, 診断精度, 管理推論, コミュニケーションスキル, 共感など, 臨床評価指標の評価フレームワークを設計した。
客観的構造化臨床検査(objective structured clinical examination:osce)の手法を用いて,テキストベースのコンサルテーションのランダム化・二重盲検クロスオーバー研究において,amieの成績とプライマリケア医師(pcps)の成績を比較した。
この研究は、カナダ、イギリス、インドの臨床提供者による149のケースシナリオ、AMIEと比較するための20のPCP、専門医や患者アクターによる評価を含む。
AMIEの診断精度は, 専門医によると32例中28例, 患者アクターでは26例中24例で高い成績を示した。
我々の研究にはいくつかの制限があり、適切に解釈されるべきである。
臨床医は、大規模なLCM-患者間相互作用を許容する不慣れな同期テキストチャットに限られていたが、通常の臨床実践を代表していない。
AMIEが現実世界の設定に変換されるためには、さらなる研究が必要であるが、結果は会話診断AIへのマイルストーンを表している。
関連論文リスト
- A Scalable Approach to Benchmarking the In-Conversation Differential Diagnostic Accuracy of a Health AI [0.0]
本研究では、健康AIシステムを評価するためのスケーラブルなベンチマーク手法を提案する。
提案手法では,14の専門分野に400の検証済み臨床ヴィグネットを用いて,現実的な臨床行為をシミュレートするためにAIを利用した患者アクターを用いた。
8月は81.8%(327/400件)の診断精度、85.0%(340/400件)のトップ2の診断精度を達成し、従来の症状チェッカーを上回った。
論文 参考訳(メタデータ) (2024-12-17T05:02:33Z) - Medchain: Bridging the Gap Between LLM Agents and Clinical Practice through Interactive Sequential Benchmarking [58.25862290294702]
臨床ワークフローの5つの重要な段階をカバーする12,163の臨床症例のデータセットであるMedChainを提示する。
フィードバック機構とMCase-RAGモジュールを統合したAIシステムであるMedChain-Agentも提案する。
論文 参考訳(メタデータ) (2024-12-02T15:25:02Z) - Towards Next-Generation Medical Agent: How o1 is Reshaping Decision-Making in Medical Scenarios [46.729092855387165]
本稿では,医療用AIエージェントのバックボーンLSMの選択について検討する。
我々の研究結果は、o1の診断精度と一貫性を高める能力を示し、よりスマートでより応答性の高いAIツールへの道を開いた。
論文 参考訳(メタデータ) (2024-11-16T18:19:53Z) - Exploring Large Language Models for Specialist-level Oncology Care [17.34069859182619]
乳腺腫瘍治療のサブスペシャリスト領域における対話型診断AIシステムAMIEの性能について検討した。
当科では, 治療・治療・難治性症例の50種類の合成乳がんビグネットを切除した。
症例要約の質, ケア計画の安全性, 化学療法, 放射線療法, 手術, ホルモン療法の勧告など, 管理計画を評価するための詳細な臨床用ルーリックを開発した。
論文 参考訳(メタデータ) (2024-11-05T18:30:13Z) - A Two-Stage Proactive Dialogue Generator for Efficient Clinical Information Collection Using Large Language Model [0.6926413609535759]
患者情報収集作業を自動化する診断対話システムを提案する。
医療史と会話のロジックを活用することで、会話エージェントは複数回にわたる臨床クエリを作成できる。
実世界の医療会話データセットを用いた実験結果から,本モデルが実際の医師の会話スタイルを模倣した臨床クエリを生成できることが示唆された。
論文 参考訳(メタデータ) (2024-10-02T19:32:11Z) - RuleAlign: Making Large Language Models Better Physicians with Diagnostic Rule Alignment [54.91736546490813]
本稿では,大規模言語モデルと特定の診断規則との整合性を考慮したルールアラインフレームワークを提案する。
患者と医師間の規則に基づくコミュニケーションを含む医療対話データセットを開発した。
実験の結果,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2024-08-22T17:44:40Z) - GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。
GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。
38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
論文 参考訳(メタデータ) (2024-08-06T17:59:21Z) - AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。
この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。
高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
論文 参考訳(メタデータ) (2024-02-15T06:46:48Z) - MedDG: An Entity-Centric Medical Consultation Dataset for Entity-Aware
Medical Dialogue Generation [86.38736781043109]
MedDGという12種類の消化器疾患に関連する大規模医用対話データセットを構築し,公開する。
MedDGデータセットに基づく2種類の医療対話タスクを提案する。1つは次のエンティティ予測であり、もう1つは医師の反応生成である。
実験結果から,プレトレイン言語モデルと他のベースラインは,両方のタスクに苦戦し,データセットの性能が劣ることがわかった。
論文 参考訳(メタデータ) (2020-10-15T03:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。