論文の概要: Towards Expert-level Medical AI for Real-time Video Consultations
- arxiv url: http://arxiv.org/abs/2608.09861v1
- Date: Mon, 10 Aug 2026 17:19:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.395379
- Title: Towards Expert-level Medical AI for Real-time Video Consultations
- Title（参考訳）: リアルタイムビデオコンサルテーションのためのエキスパートレベルの医療AIを目指して
- Abstract要約: 本稿では,AMIE(Articulate Medical Intelligence Explorer)を用いたリアルタイム臨床ビデオコンサルテーションにおけるエキスパートレベルのAIの最初の実演を行う。
AMIE(ビデオ)は、低遅延対話、臨床推論、リアルタイムオーディオ視覚知覚を統合したジェミニベースのマルチエージェントシステムである。
患者は, コミュニケーションの有効性, 利便性, 理解を深めるために, AMIE(ビデオ)のインタフェースをテキストチャットよりも好んだ。
- 参考スコア（独自算出の注目度）: 15.52174279061238
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Audio-visual interaction is the standard for patient-physician consultations, enabling natural communication and effective assessment of illness through non-verbal cues. While text-based AI has shown promise, it discards essential perceptual dimensions and limits patients who cannot articulate symptoms in writing. Early efforts to extend medical AI to audio-visual interaction have demonstrated feasibility but not reached clinician-level performance. Here, we provide the first demonstration of expert-level AI in real-time clinical video consultations using AMIE (Articulate Medical Intelligence Explorer) in a video configuration. AMIE (Video) is a Gemini-based multi-agent system integrating low-latency dialogue, clinical reasoning, and real-time audio-visual perception. To guide development, we established a taxonomy and automated evaluations for clinical audio-visual cues in telehealth settings. In a randomized Objective Structured Clinical Examination (OSCE) study with 30 primary care physicians (PCPs), 15 patient actors and 100 clinical scenarios, we compared AMIE (Video), its text-only counterpart AMIE (Text), and PCPs consulting via video. Clinical evaluators rated AMIE (Video) on par or better than PCPs in history-taking, diagnosis, management, and physical observation and examination. Patient actors preferred AMIE's approach to assessing and explaining conditions, while PCPs were preferred for rapport and partnership building. In modality ablation, patient actors preferred AMIE (Video)'s interface over text chat for communicative effectiveness, convenience, and feeling understood. Limitations remain in fine anatomical precision, subtle affective nuances, and high-frequency movements. While further research is needed before real-world translation, these results mark an important milestone toward AI systems capable of augmenting care across the sensory complexity of clinical practice.
- Abstract（参考訳）: 音声と視覚の相互作用は、患者と医師の相談の標準であり、自然コミュニケーションと非言語的手がかりによる病気の効果的な評価を可能にしている。
テキストベースのAIは将来性を示しているが、本質的な知覚の次元を放棄し、筆記中に症状を明瞭に表現できない患者を制限している。
医療AIをオーディオと視覚の相互作用に拡張する初期の取り組みは、実現可能性を示しているが、臨床レベルのパフォーマンスには達していない。
本稿では、AMIE(Articulate Medical Intelligence Explorer)を用いたリアルタイムな臨床ビデオコンサルテーションにおけるエキスパートレベルのAIの最初の実演を行う。
AMIE(ビデオ)は、低遅延対話、臨床推論、リアルタイムオーディオ視覚知覚を統合したジェミニベースのマルチエージェントシステムである。
本研究は,遠隔医療における臨床オーディオ・ビジュアル・キューの分類と自動評価を確立した。
主治医30名, 患者15名, 臨床シナリオ100名によるランダム化対象臨床検査(OSCE)において, AMIE (ビデオ) とテキストのみのAMIE (テキスト) , PCPs をビデオで比較した。
臨床評価では,PCP と同等以上の値で AMIE (ビデオ) を評価した。
患者はAMIEのアプローチを条件評価や説明に好んだが,PCPはラプポートやパートナーシップ構築に好まれた。
モダリティ・アブレーションでは, 患者はコミュニケーションの有効性, 利便性, 理解を深めるために, AMIE(ビデオ)のインタフェースをテキストチャットよりも好んだ。
制限は、微妙な解剖学的精度、微妙な情緒的ニュアンス、高周波運動に残る。
現実世界の翻訳にはさらなる研究が必要であるが、これらの結果は、臨床実践の感覚的複雑さを越えて、ケアを増強できるAIシステムにとって重要なマイルストーンとなる。
関連論文リスト
- Towards Conversational Medical AI with Eyes, Ears and a Voice [19.359997612335018]
我々は,対話型AIシステムであるAIコクリニシアンを紹介する。
その二重エージェントアーキテクチャは、自然な対話に必要な低レイテンシと深い臨床推論のバランスをとる。
我々の研究は、テキストのみのアプローチが、医療相談の真の課題を捉えるのに失敗していることを示している。
論文 参考訳（メタデータ） (2026-05-10T02:43:49Z) - A prospective clinical feasibility study of a conversational diagnostic AI in an ambulatory primary care clinic [21.374164324051012]
アーティキュレート・メディカル・インテリジェンス・エクスプローラー(AMIE)
100人の成人患者が任命の5日前にAMIEテキストチャットのやりとりを完了した。
ヒューマン・セーフティ・スーパーバイザーは、患者とAMIEのインタラクションをリアルタイムで監視した。
論文 参考訳（メタデータ） (2026-03-09T14:43:40Z) - Towards physician-centered oversight of conversational diagnostic AI [40.583050959984995]
患者安全の現実的な保証は、個々の診断と治療計画を提供することが、認可された専門家による規制活動であることを意味する。
そこで我々は,Articulate Medical Intelligence Explorer (AMIE) AIシステムの効果的な非同期監視のためのフレームワークを提案する。
論文 参考訳（メタデータ） (2025-07-21T15:54:36Z) - Advancing Conversational Diagnostic AI with Multimodal Reasoning [44.1996223689966]
アーティキュレート・メディカル・インテリジェンス・エクスプローラー(AMIE)
システムは、対話フローを中間モデル出力によって動的に制御する状態認識対話フレームワークを実装している。
患者アクターとのチャットベースの相談の無作為で盲目なOSCEスタイルの研究において, AMIEをプライマリケア医師(PCP)と比較した。
論文 参考訳（メタデータ） (2025-05-06T20:52:01Z) - Dialogue is Better Than Monologue: Instructing Medical LLMs via Strategical Conversations [74.83732294523402]
実世界の診断シナリオをシミュレートし,USMLE標準に適合するノイズと難易度を統合する新しいベンチマークを導入する。
また、対話に基づく微調整についても検討し、静的データセットを会話形式に変換し、反復的推論プロセスをよりよく捉える。
実験の結果、対話調整されたモデルは従来の手法よりも優れており、マルチラウンド推論のシナリオでは9.64%、ノイズの多い環境では6.18%の精度で改善されている。
論文 参考訳（メタデータ） (2025-01-29T18:58:48Z) - Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding [53.629132242389716]
VLM(Vision-Language Models)は、医用画像を分析し、自然言語の相互作用に関与することによって、臨床医を支援する。
VLMはしばしば「幻覚的」な振る舞いを示し、文脈的マルチモーダル情報に基づかないテキスト出力を生成する。
本稿では,臨床推論の象徴的表現を用いて医療知識にVLMを基盤とする新たなアライメントアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-29T23:19:28Z) - AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。
この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。
高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
論文 参考訳（メタデータ） (2024-02-15T06:46:48Z) - Towards Conversational Diagnostic AI [32.84876349808714]
本稿では,診断対話に最適化されたLarge Language Model (LLM)ベースのAIシステムであるAMIE(Articulate Medical Intelligence Explorer)を紹介する。
AMIEは、さまざまな疾患条件にまたがって学習をスケールするための自動フィードバック機構を備えた、セルフプレイベースのシミュレート環境を使用する。
AMIEの診断精度は, 専門医によると32例中28例, 患者アクターでは26例中24例で高い成績を示した。
論文 参考訳（メタデータ） (2024-01-11T04:25:06Z) - Show from Tell: Audio-Visual Modelling in Clinical Settings [58.88175583465277]
臨床環境でのオーディオ・ビジュアル・モデリングを考察し、人間の専門的アノテーションを使わずに医学的表現を学習するためのソリューションを提供する。
この目的のために, 単純かつ効果的なマルチモーダル自己教師型学習フレームワークを提案する。
提案手法は,音声のみを基準として,超音波画像中の解剖学的関心領域をローカライズすることができる。
論文 参考訳（メタデータ） (2023-10-25T08:55:48Z) - Towards the Use of Saliency Maps for Explaining Low-Quality Electrocardiograms to End Users [51.644376281196394]
診断に医用画像を使用する場合,画像が高品質であることが重要である。
遠隔医療において一般的な問題は、患者が診療所を退院した後にのみ、品質問題が警告されることである。
本稿では,低品質な医用画像をリアルタイムにフラグ付け,説明するためのAIシステムの開発について報告する。
論文 参考訳（メタデータ） (2022-07-06T14:53:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。