論文の概要: AIPatient Arena: EHR-grounded evaluation of large language models in end-to-end clinical consultation workflows

• arxiv url: http://arxiv.org/abs/2606.17474v1
• Date: Tue, 16 Jun 2026 03:35:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.250076
• Title: AIPatient Arena: EHR-grounded evaluation of large language models in end-to-end clinical consultation workflows
• Title（参考訳）: AIPatient Arena:エンド・ツー・エンド臨床相談ワークフローにおける大規模言語モデルの評価
• Authors: Jiahui Niu, Huizi Yu, Wenkong Wang, Guangxin Dai, Jingxian He, Xiang Li, Zhiying Liang, Xinxin Lin, Kent CY So, Bryan YP Yan, Yun Kwok Wing, Yanqiu Xing, Xin Ma, Lizhou Fan,
• Abstract要約: 大規模言語モデル (LLM) は, 臨床相談業務での使用を想定している。 本稿では,ALMの臨床的有用性を評価するための評価フレームワークであるAIPatient Arenaを提案する。
• 参考スコア（独自算出の注目度）: 7.354281305130301
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly considered for use in clinical consultation tasks, yet most medical evaluations remain static, single-turn, or narrowly outcome-based, limiting their ability to reflect the sequential, uncertain, and interactive nature of real-world care. Here, we propose AIPatient Arena, an EHRs-grounded evaluation framework for assessing the clinical utility of LLMs across eight dimensions of clinical competence. The framework integrates EHR data into patient-specific knowledge graphs, enabling multi-turn physician-patient interactions. We applied AIPatient Arena on a primary cohort of 437 patients and two out-of-distribution validation cohorts of 119 and 67 patients. We observe that LLMs performed well in medical interview questioning skills (QS; mean scores, 4.43-4.99/5), ethical and professional conduct (ET; 4.38-4.93/5), and clarity and transparency of clinical explanations (EX; 3.80-4.72/5). Performance was moderate in information integration (II; 3.19-4.21/5) and medication safety and justification (MS; 3.13-3.78/5), but persistent weaknesses were observed in handling of ambiguous patient responses (HR; 2.57-3.32/5), information coverage (IC; 2.08-3.02/5), and diagnostic accuracy and reasoning (Dx; 2.63-3.55/5). Process-based evaluation revealed recurrent interaction failures, including repetitive questioning, omission of past medical history, and inadequate handling of uncertainty. Richer conversational context improved diagnostic reasoning but yielded limited gains in treatment planning. These findings indicate that final-answer accuracy alone is insufficient for evaluating clinical readiness and highlight the importance of assessing how models gather, interpret, and communicate information throughout a consultation. AIPatient Arena provides an EHR-grounded framework for workflow-oriented pre-deployment evaluation of medical LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、臨床相談業務での使用がますます検討されているが、ほとんどの医療評価は、静的、シングルターン、あるいは狭義の結果に基づくものであり、現実のケアのシーケンシャルで不確実でインタラクティブな性質を反映する能力を制限する。 本稿では,臨床能力の8次元にわたるLSMの臨床的有用性を評価するための評価フレームワークであるAIPatient Arenaを提案する。 このフレームワークは、EHRデータを患者固有の知識グラフに統合し、多ターンの医師と患者の相互作用を可能にする。 AIPatient Arena を437例の一次コホートと119例と67例のアウト・オブ・ディストリビューション・コホートに応用した。 医療面接質問スキル(QS,平均スコア,4.43-4.99/5),倫理的・専門的行為(ET,4.38-4.93/5),臨床説明の明確化と透明性(EX,3.80-4.72/5)において,LCMは良好な成績を示した。 情報統合(II, 3.19-4.21/5),医薬品の安全性と正当性(MS, 3.13-3.78/5),不明瞭な患者反応(HR, 2.57-3.32/5),情報カバレッジ(IC, 2.08-3.02/5),診断精度と推論(Dx, 2.63-3.55/5),の順応性の弱点が認められた。 プロセスに基づく評価では、反復的な質問、過去の医療史の欠落、不確実性に対する不適切な対処など、反復的な相互作用の失敗が判明した。 よりリッチな会話的文脈は診断的推論を改善したが、治療計画の利得は限られていた。 これらの結果から, 最終回答精度だけでは, 臨床的準備性を評価するには不十分であることが示唆され, コンサルテーションを通して, モデルの収集, 解釈, コミュニケーションの方法を評価することの重要性が強調された。 AIPatient Arenaは、ワークフロー指向の医療用LLMの事前デプロイ評価のためのEHRベースのフレームワークを提供する。

関連論文リスト

• Evaluating Large Language Models in Dynamic Clinical Decision-Making with Standardized Patient Cases [71.12461204050985]
  MedSP1000 (MedSP1000) は、SP由来の臨床エージェント評価のための対話型ベンチマークである。 ピアレビューされたSPの授業ケースを、定義されたSPケーススクリプト、臨床環境コンテキスト、人為的な構造化ルーブリックで実行可能なシナリオに変換する。 MedSP1000を多種多様な汎用および医療用LLMに適用すると、静的ベンチマークの性能がそのような教育シナリオに確実に変換されないことが分かる。
  論文  参考訳（メタデータ） (2026-06-03T17:17:16Z)
• Beyond Idealized Patients: Evaluating LLMs under Challenging Patient Behaviors in Medical Consultations [2.337503919179969]
  実際の医療相談で一般的に発生する患者行動について検討する。 各動作について、安全でない応答をキャプチャする具体的な障害基準を指定する。 患者発話に対する応答について,オープンおよびクローズドソースのLCMについて検討した。
  論文  参考訳（メタデータ） (2026-03-31T07:42:07Z)
• Cerebra: A Multidisciplinary AI Board for Multimodal Dementia Characterization and Risk Assessment [56.62016795093786]
  CerebraはインタラクティブなマルチエージェントAIチームで、ERH、臨床ノート、医療画像分析のための特殊エージェントをコーディネートする。 構造化された表現を操作することで、プライバシ保護デプロイメントをサポートし、モダリティが不完全であれば、堅牢である。 Cerebraは、有識者のパフォーマンスを著しく改善し、前向き認知症リスク推定において精度を17.5ポイント向上させた。
  論文  参考訳（メタデータ） (2026-03-23T05:46:45Z)
• ClinDEF: A Dynamic Evaluation Framework for Large Language Models in Clinical Reasoning [58.01333341218153]
  ClinDEF(ClinDEF)は, LLMにおける臨床推論をシミュレートされた診断対話を用いて評価する動的フレームワークである。 本手法は, 患者を発症し, LLMをベースとした医師と自動患者エージェントとのマルチターンインタラクションを容易にする。 実験により、ClinDEFは最先端のLSMにおいて重要な臨床推論ギャップを効果的に露呈することが示された。
  論文  参考訳（メタデータ） (2025-12-29T12:58:58Z)
• A Real-World Evaluation of LLM Medication Safety Reviews in NHS Primary Care [5.167350493769989]
  本研究は,NHSプライマリケアデータを用いたLSMベースの医薬品安全性評価システムの最初の評価である。 患者を戦略的に採取し,幅広い臨床複雑性と薬剤の安全性リスクを捉えた。 当システムでは,臨床症状の認識に強い性能を示した。
  論文  参考訳（メタデータ） (2025-12-24T11:58:49Z)
• Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
  大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。 本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。 本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
  論文  参考訳（メタデータ） (2025-10-11T16:24:35Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• Automatic Interactive Evaluation for Large Language Models with State Aware Patient Simulator [21.60103376506254]
  大きな言語モデル(LLM)は、人間の相互作用において顕著な熟練性を示している。 本稿では,SAPS(State-Aware patient Simulator)とAIE(Automated Interactive Evaluation)フレームワークを紹介する。 AIEとSAPSは、多ターン医師-患者シミュレーションを通じてLCMを評価するための動的で現実的なプラットフォームを提供する。
  論文  参考訳（メタデータ） (2024-03-13T13:04:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。