論文の概要: Evaluating Scaffolding-Oriented Multi-Agent Large Language Model System for Clinical Interview Training
- arxiv url: http://arxiv.org/abs/2609.10939v1
- Date: Thu, 10 Sep 2026 00:56:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.171097
- Title: Evaluating Scaffolding-Oriented Multi-Agent Large Language Model System for Clinical Interview Training
- Title（参考訳）: 臨床面接訓練のためのスキャッディング指向型多言語大言語モデルシステムの評価
- Abstract要約: 我々は,足場指向多言語モデル(LLM)AI標準化患者(AI-SP)訓練プラットフォームを開発した。
本システムは、シミュレートダイアログのための患者エージェントと、診断情報を開示することなくソクラティックプロンプトを提供するチューターエージェントと、臨床経過を監視するターンレベル評価エージェントとを含む。
最も実質的で一貫した改善は、コミュニケーション、共感の表現、そして特定の歴史的行動において観察された。
- 参考スコア（独自算出の注目度）: 10.948633957490221
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Clinical education must prepare medical students to conduct safe and coherent patient interviews under conditions of uncertainty. Traditional standardized patient (SP) training is resource-intensive and difficult to scale. We developed a scaffolding-oriented multi-agent Large Language Model (LLM) AI Standardized Patient (AI-SP) training platform1. The system includes a patient agent for simulated dialog, a tutor agent providing Socratic prompts without disclosing diagnostic information, and a turn-level evaluator agent that monitors clinical progress without revealing summative scores. In a randomized controlled study (N = 100 medical students), participants were assigned to either a multi-agent (MA) scaffolding condition or a control condition. All students completed two learning sessions under their assigned condition followed by an examination conducted in a patient only environment. Performance was assessed using a standardized Objective Structured Clinical Examination (OSCE) based rubric. While no significant difference was observed in final diagnostic accuracy between groups, the multi-agent AI standardized patient system improved final examination scores compared to the control group utilizing structured progressive information disclosure; the most substantial and consistent improvements were observed in communication, the expression of empathy, and specific history-taking behaviors. These findings suggest that specialized LLM agents enhance the process quality of simulated clinical interviews without artificially inflating examination outcomes. To support future research, we release a multi-expert annotated dataset comprising transcripts, checklist annotations, turn-level evaluations, and OSCE-aligned scoring outcomes. This resource aims to facilitate the development of pedagogically grounded AI-SP systems and advance research on AI-supported clinical reasoning training.
- Abstract（参考訳）: 臨床教育は、不確実性の条件下で安全で一貫性のある患者インタビューを行うために、医学生を準備しなければならない。
従来の標準化患者(SP)訓練は資源集約的であり、拡張が困難である。
我々は,足場指向多言語モデル(LLM)AI標準化患者(AI-SP)訓練プラットフォーム1を開発した。
本システムは、シミュレートダイアログ用の患者エージェントと、診断情報を開示することなくソクラティックプロンプトを提供するチューターエージェントと、合計スコアを開示することなく臨床経過を監視するターンレベル評価剤とを含む。
ランダム化対照試験(N=100医学生)では, 参加者はマルチエージェント(MA)足場か制御条件に割り当てられた。
全学生が指定した条件下で2つの学習セッションを完了し、その後、患者のみの環境で試験を行った。
標準化された客観的構造化臨床検査 (OSCE) を用いて, 評価を行った。
グループ間の最終診断精度には有意な差は見られなかったが、マルチエージェントAI標準化患者システムは、構造化プログレッシブ情報開示を利用した制御群と比較して最終検査スコアを改善し、コミュニケーション、共感の発現、特定の履歴取得行動において最も顕著で一貫した改善が見られた。
以上の結果から, LLM薬剤は試験結果を人工的に膨らませることなく, 模擬臨床面接のプロセス品質を向上させることが示唆された。
今後の研究を支援するため,書式,チェックリストアノテーション,ターンレベルの評価,OSCE対応のスコアリング結果を含むマルチエキスパートアノテートデータセットをリリースする。
本リソースは,AI-SPシステムの開発促進と,AI支援型臨床推論トレーニングの進展を目的としている。
関連論文リスト
- AIPatient Arena: EHR-grounded evaluation of large language models in end-to-end clinical consultation workflows [7.354281305130301]
大規模言語モデル (LLM) は, 臨床相談業務での使用を想定している。
本稿では,ALMの臨床的有用性を評価するための評価フレームワークであるAIPatient Arenaを提案する。
論文 参考訳（メタデータ） (2026-06-16T03:35:17Z) - Doctorina MedBench: End-to-End Evaluation of Agent-Based Medical AI [0.0]
Doctorina MedBenchは、現実的な医師と患者の相互作用のシミュレーションに基づいて、エージェントベースの医療AIの包括的な評価フレームワークである。
このフレームワークは、安全指向のトラップケース、臨床シナリオのカテゴリベースのランダムサンプリング、完全な回帰テストをサポートしている。
評価指標の普遍性は、このフレームワークを医療AIシステムの評価だけでなく、医師を評価し、臨床推論スキルの開発を支援するためにも使用できる。
論文 参考訳（メタデータ） (2026-03-26T18:38:25Z) - EvoClinician: A Self-Evolving Agent for Multi-Turn Medical Diagnosis via Test-Time Evolutionary Learning [72.70291772077738]
エージェントのマルチターン診断能力を評価するためのベンチマークであるMed-Inquireを提案する。
次に、テスト時に効率的な診断戦略を学ぶ自己進化エージェントであるEvoClinicianを紹介する。
実験の結果,EvoClinicianは連続学習ベースラインや,メモリエージェントなどの自己進化エージェントよりも優れていた。
論文 参考訳（メタデータ） (2026-01-30T13:26:18Z) - AgentsEval: Clinically Faithful Evaluation of Medical Imaging Reports via Multi-Agent Reasoning [73.50200033931148]
本稿では,放射線科医の協調診断ワークフローをエミュレートしたマルチエージェントストリーム推論フレームワークであるAgensEvalを紹介する。
評価プロセスを基準定義、エビデンス抽出、アライメント、一貫性スコアなどの解釈可能なステップに分割することで、AgensEvalは明確な推論トレースと構造化された臨床フィードバックを提供する。
実験結果から,AgensEvalは,言い換え,意味的,スタイリスティックな摂動の下でも頑健な臨床的整合性,意味的忠実性,解釈可能な評価を提供することが示された。
論文 参考訳（メタデータ） (2026-01-23T11:59:13Z) - MedDialogRubrics: A Comprehensive Benchmark and Evaluation Framework for Multi-turn Medical Consultations in Large Language Models [15.91764739198419]
5,200件の患者と6万件以上のきめ細粒度評価ルーブリックからなる新規なベンチマークであるMedDialogRubricsについて紹介する。
本フレームワークでは,実世界の電子的健康記録にアクセスすることなく,現実的な患者記録と主訴を合成するマルチエージェントシステムを採用している。
論文 参考訳（メタデータ） (2026-01-06T13:56:33Z) - ClinDEF: A Dynamic Evaluation Framework for Large Language Models in Clinical Reasoning [58.01333341218153]
ClinDEF(ClinDEF)は, LLMにおける臨床推論をシミュレートされた診断対話を用いて評価する動的フレームワークである。
本手法は, 患者を発症し, LLMをベースとした医師と自動患者エージェントとのマルチターンインタラクションを容易にする。
実験により、ClinDEFは最先端のLSMにおいて重要な臨床推論ギャップを効果的に露呈することが示された。
論文 参考訳（メタデータ） (2025-12-29T12:58:58Z) - Timely Clinical Diagnosis through Active Test Selection [49.091903570068155]
本稿では,現実の診断推論をよりうまくエミュレートするためのACTMED (Adaptive Clinical Test selection via Model-based Experimental Design)を提案する。
LLMは柔軟なシミュレータとして機能し、構造化されたタスク固有のトレーニングデータを必要とせずに、患者状態のもっともらしい分布を生成し、信念の更新をサポートする。
我々は、実世界のデータセット上でACTMEDを評価し、診断精度、解釈可能性、リソース使用量を改善するためにテスト選択を最適化できることを示す。
論文 参考訳（メタデータ） (2025-10-21T18:10:45Z) - Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。
本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。
本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
論文 参考訳（メタデータ） (2025-10-11T16:24:35Z) - DischargeSim: A Simulation Benchmark for Educational Doctor-Patient Communication at Discharge [11.081999875352025]
退院コミュニケーションは、患者のケアにおいて重要だが未発見の要素である。
モデルがパーソナライズされた放電教育者として機能する能力を評価する新しいベンチマークであるDesignSimを紹介する。
論文 参考訳（メタデータ） (2025-09-08T20:07:30Z) - Automated Clinical Problem Detection from SOAP Notes using a Collaborative Multi-Agent LLM Architecture [8.072932739333309]
我々は,このギャップに対処するために,臨床相談チームをモデル化する共同マルチエージェントシステム(MAS)を導入する。
このシステムは、SOAPノートの主観的(S)および目的的(O)セクションのみを分析することによって、臨床上の問題を特定する。
マネージャエージェントは、階層的で反復的な議論に従事し、合意に達するために、動的に割り当てられた専門家エージェントのチームを編成する。
論文 参考訳（メタデータ） (2025-08-29T17:31:24Z) - Medical Reasoning in the Era of LLMs: A Systematic Review of Enhancement Techniques and Applications [59.721265428780946]
医学における大きな言語モデル(LLM)は印象的な能力を実現しているが、体系的で透明で検証可能な推論を行う能力に重大なギャップが残っている。
本稿は、この新興分野に関する最初の体系的なレビューを提供する。
本稿では,学習時間戦略とテスト時間メカニズムに分類した推論強化手法の分類法を提案する。
論文 参考訳（メタデータ） (2025-08-01T14:41:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。