論文の概要: Towards Conversational Medical AI with Eyes, Ears and a Voice

• arxiv url: http://arxiv.org/abs/2605.09272v1
• Date: Sun, 10 May 2026 02:43:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.157047
• Title: Towards Conversational Medical AI with Eyes, Ears and a Voice
• Title（参考訳）: 目・耳・声による会話型医療AIを目指して
• Authors: Meet Shah, Jason Gusdorf, Anil Palepu, Chunjong Park, Jack W. O'Sullivan, Vishnu Ravi, Tim Strother, Pavel Dubov, Aliya Rysbek, Toshiyuki Fukuzawa, Yana Lunts, Jan Freyberg, Michael B. Chang, Aniruddh Raghu, David Stutz, Devora Berlowitz, Eliseo Papa, Taylan Cemgil, JD Velasquez, Jack Chen, Arthur Chen, Doug Fritz, Charlie Taylor, Katya Tregubova, Jing Rong Lim, Richard Green, Sara Mahdavi, Mahvish Nagda, Jihyeon Lee, Craig Schiff, Liviu Panait, Sukhdeep Singh, Valentin Liévin, David G. T. Barrett, Hannah Gladman, Anna Cupani, Francesca Pietra, Uchechi Okereke, Katherine Tong, Clemens Meyer, Erwan Rolland, Mili Sanwalka, Michael D. Howell, Shixiang Shane Gu, Bibo Xu, Euan A. Ashley, S. M. Ali Eslami, Gregory Wayne, Pushmeet Kohli, Vivek Natarajan, Adam Rodman, Alan Karthikesalingam, Ryutaro Tanno,
• Abstract要約: 我々は,対話型AIシステムであるAIコクリニシアンを紹介する。 その二重エージェントアーキテクチャは、自然な対話に必要な低レイテンシと深い臨床推論のバランスをとる。 我々の研究は、テキストのみのアプローチが、医療相談の真の課題を捉えるのに失敗していることを示している。
• 参考スコア（独自算出の注目度）: 19.359997612335018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The practice of medicine relies not only upon skillful dialogue but also on the nuanced exchange and interpretation of rich auditory and visual cues between doctors and patients. Building on the low-latency voice and video processing capabilities of Gemini, we introduce AI co-clinician, a first-of-its-kind conversational AI system utilizing continuous streams of audio-visual data from live patient conversations to inform real-time clinical decisions. Its dual-agent architecture balances deep clinical reasoning with the low latency required for natural dialogue. To assess this system, we implemented a video-based interface emulating telemedicine consultations. We crafted 20 standardized outpatient scenarios requiring proactive real-time auditory and visual reasoning and designed "TelePACES" evaluation criteria alongside case-specific rubrics. In a randomized, interface-blinded, crossover simulation study (n = 120 encounters) with 10 internal medicine residents as patient actors, we compared AI co-clinician with primary care physicians (PCPs), GPT-Realtime, and a baseline agent. AI co-clinician approached PCPs in key TelePACES dimensions, including management plans and differential diagnosis, while significantly outperforming GPT-Realtime across all general criteria. While our agent demonstrated parity with PCPs in case-specific triage measures, physicians maintained superior overall performance in case-specific assessments. Although AI co-clinician marks a significant advance in real-time telemedical AI, gaps remain in physical examination and disease-specific reasoning. Our work shows that text-only approaches fail to capture the true challenges of medical consultation and suggests that high-stakes real-time diagnostic AI is most safely advanced in collaborative, triadic models where AI can be a supportive co-clinician for doctors and patients.
• Abstract（参考訳）: 医学の実践は、熟練した対話だけでなく、医師と患者の豊かな聴覚と視覚的手がかりの微妙な交換と解釈にも依存している。 Geminiの低レイテンシ音声およびビデオ処理機能に基づいて、我々はAIコクリニシアン(co-clinician)を紹介します。 その二重エージェントアーキテクチャは、自然な対話に必要な低レイテンシと深い臨床推論のバランスをとる。 このシステムを評価するために,遠隔医療相談をエミュレートするビデオベースインタフェースを実装した。 本研究は, リアルタイム聴覚と視覚的推論を必要とする外来患者20名を対象に, 症例別ルーリックとともに「テレPACES」評価基準を策定した。 患者10名の内科医と無作為・インターフェース・ブラインド・クロスオーバー・シミュレーション(n = 120)において,AIコクリニシアンとプライマリ・ケア・ドクター(PCP),GPT-Realtime,ベースライン・エージェントを比較した。 AIのコクリニシアン(co-clinician)は、管理計画やディファレンシャル診断を含む主要なTelePACES領域のPCPにアプローチし、すべての一般的な基準でGPT-Realtimeを著しく上回った。 症例特異的トリアージ尺度ではPCPと同等であったが,医師は症例特異的評価では総合成績が良好であった。 AIコクリニシアン(英語版)はリアルタイム遠隔医療AIにおいて大きな進歩を見せているが、物理的な検査と疾患固有の推論にはギャップが残っている。 我々の研究は、テキストのみのアプローチが医療相談の真の課題を捉えることができず、医師や患者にとってAIが支援的なコクリニシアンとなるような、協力的で三進的なモデルにおいて、ハイリスクなリアルタイム診断AIが最も安全に進歩していることを示唆している。

関連論文リスト

• A prospective clinical feasibility study of a conversational diagnostic AI in an ambulatory primary care clinic [21.374164324051012]
  アーティキュレート・メディカル・インテリジェンス・エクスプローラー(AMIE) 100人の成人患者が任命の5日前にAMIEテキストチャットのやりとりを完了した。 ヒューマン・セーフティ・スーパーバイザーは、患者とAMIEのインタラクションをリアルタイムで監視した。
  論文  参考訳（メタデータ） (2026-03-09T14:43:40Z)
• Towards physician-centered oversight of conversational diagnostic AI [40.583050959984995]
  患者安全の現実的な保証は、個々の診断と治療計画を提供することが、認可された専門家による規制活動であることを意味する。 そこで我々は,Articulate Medical Intelligence Explorer (AMIE) AIシステムの効果的な非同期監視のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-21T15:54:36Z)
• Advancing Conversational Diagnostic AI with Multimodal Reasoning [44.1996223689966]
  アーティキュレート・メディカル・インテリジェンス・エクスプローラー(AMIE) システムは、対話フローを中間モデル出力によって動的に制御する状態認識対話フレームワークを実装している。 患者アクターとのチャットベースの相談の無作為で盲目なOSCEスタイルの研究において, AMIEをプライマリケア医師(PCP)と比較した。
  論文  参考訳（メタデータ） (2025-05-06T20:52:01Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• Towards Conversational Diagnostic AI [32.84876349808714]
  本稿では,診断対話に最適化されたLarge Language Model (LLM)ベースのAIシステムであるAMIE(Articulate Medical Intelligence Explorer)を紹介する。 AMIEは、さまざまな疾患条件にまたがって学習をスケールするための自動フィードバック機構を備えた、セルフプレイベースのシミュレート環境を使用する。 AMIEの診断精度は, 専門医によると32例中28例, 患者アクターでは26例中24例で高い成績を示した。
  論文  参考訳（メタデータ） (2024-01-11T04:25:06Z)
• HEAR4Health: A blueprint for making computer audition a staple of modern healthcare [89.8799665638295]
  近年、従来の医療システムを変革する試みとして、デジタル医療の研究が急速に増加している。 コンピュータによるオーディションは、少なくとも商業的関心の面では遅れている。 実生活における聴覚信号の分析に必要な基礎技術に対応する聴覚、計算とデータ効率の進歩、個々の差異を考慮し、医療データの長手性を扱う聴覚。
  論文  参考訳（メタデータ） (2023-01-25T09:25:08Z)
• Towards the Use of Saliency Maps for Explaining Low-Quality Electrocardiograms to End Users [51.644376281196394]
  診断に医用画像を使用する場合,画像が高品質であることが重要である。 遠隔医療において一般的な問題は、患者が診療所を退院した後にのみ、品質問題が警告されることである。 本稿では,低品質な医用画像をリアルタイムにフラグ付け,説明するためのAIシステムの開発について報告する。
  論文  参考訳（メタデータ） (2022-07-06T14:53:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。