論文の概要: DischargeSim: A Simulation Benchmark for Educational Doctor-Patient Communication at Discharge
- arxiv url: http://arxiv.org/abs/2509.07188v1
- Date: Mon, 08 Sep 2025 20:07:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-10 14:38:27.105143
- Title: DischargeSim: A Simulation Benchmark for Educational Doctor-Patient Communication at Discharge
- Title(参考訳): DischargeSim: 放電時の教育用医師・患者間コミュニケーションのシミュレーションベンチマーク
- Authors: Zonghai Yao, Michael Sun, Won Seok Jang, Sunjae Kwon, Soie Kwon, Hong Yu,
- Abstract要約: 退院コミュニケーションは、患者のケアにおいて重要だが未発見の要素である。
モデルがパーソナライズされた放電教育者として機能する能力を評価する新しいベンチマークであるDesignSimを紹介する。
- 参考スコア(独自算出の注目度): 11.081999875352025
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Discharge communication is a critical yet underexplored component of patient care, where the goal shifts from diagnosis to education. While recent large language model (LLM) benchmarks emphasize in-visit diagnostic reasoning, they fail to evaluate models' ability to support patients after the visit. We introduce DischargeSim, a novel benchmark that evaluates LLMs on their ability to act as personalized discharge educators. DischargeSim simulates post-visit, multi-turn conversations between LLM-driven DoctorAgents and PatientAgents with diverse psychosocial profiles (e.g., health literacy, education, emotion). Interactions are structured across six clinically grounded discharge topics and assessed along three axes: (1) dialogue quality via automatic and LLM-as-judge evaluation, (2) personalized document generation including free-text summaries and structured AHRQ checklists, and (3) patient comprehension through a downstream multiple-choice exam. Experiments across 18 LLMs reveal significant gaps in discharge education capability, with performance varying widely across patient profiles. Notably, model size does not always yield better education outcomes, highlighting trade-offs in strategy use and content prioritization. DischargeSim offers a first step toward benchmarking LLMs in post-visit clinical education and promoting equitable, personalized patient support.
- Abstract(参考訳): 退院コミュニケーションは、診断から教育へとゴールが移る患者ケアにおいて、重要で未発見の要素である。
最近の大規模言語モデル(LLM)ベンチマークでは、視線内診断の推論が強調されているが、訪問後の患者を支援するモデルの能力の評価には失敗している。
本稿では,パーソナライズされた放電教育者として機能するLLMを評価する新しいベンチマークであるDesignSimを紹介する。
DischargeSimは、LCMが主導するDoctorAgentsとPatentAgentsの、さまざまな精神社会的プロファイル(例えば、健康リテラシー、教育、感情)間の、ビジット後のマルチターン会話をシミュレートする。
1) 自動およびLCM-as-judge評価による対話品質, (2) 自由テキスト要約と構造化されたAHRQチェックリストを含む個人化された文書生成, (3) 下流多重選択試験による患者理解。
18のLCMを対象に行った実験では, 退院教育能力に大きなギャップがみられ, 成績は患者プロファイルによって大きく異なっていた。
特に、モデルのサイズが必ずしもより良い教育結果をもたらすとは限らない。
DischargeSimは、訪問後臨床教育におけるLCMのベンチマークと、公平でパーソナライズされた患者サポートを促進するための第一歩を提供する。
関連論文リスト
- PatientSim: A Persona-Driven Simulator for Realistic Doctor-Patient Interactions [15.272979678875787]
本稿では,臨床シナリオのための現実的で多様な患者ペルソナを生成する患者シミュレータであるPatentSimを紹介する。
patientSimは、1)MIMIC-EDおよびMIMIC-IVデータセットの実際のデータから得られた症状や医療史を含む臨床プロファイル、2)性格、言語能力、医療履歴のリコールレベル、認知的混乱レベルという4つの軸で定義されたペルソナを使用する。
トップパフォーマンスのオープンソースモデルであるLlama 3.3は、我々のフレームワークの堅牢性を確認するために、4人の臨床医によって検証された。
論文 参考訳(メタデータ) (2025-05-23T12:34:48Z) - LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。
本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。
実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
論文 参考訳(メタデータ) (2025-01-07T08:49:04Z) - Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding [53.629132242389716]
VLM(Vision-Language Models)は、医用画像を分析し、自然言語の相互作用に関与することによって、臨床医を支援する。
VLMはしばしば「幻覚的」な振る舞いを示し、文脈的マルチモーダル情報に基づかないテキスト出力を生成する。
本稿では,臨床推論の象徴的表現を用いて医療知識にVLMを基盤とする新たなアライメントアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-05-29T23:19:28Z) - Automatic Interactive Evaluation for Large Language Models with State Aware Patient Simulator [21.60103376506254]
大きな言語モデル(LLM)は、人間の相互作用において顕著な熟練性を示している。
本稿では,SAPS(State-Aware patient Simulator)とAIE(Automated Interactive Evaluation)フレームワークを紹介する。
AIEとSAPSは、多ターン医師-患者シミュレーションを通じてLCMを評価するための動的で現実的なプラットフォームを提供する。
論文 参考訳(メタデータ) (2024-03-13T13:04:58Z) - AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。
この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。
高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
論文 参考訳(メタデータ) (2024-02-15T06:46:48Z) - Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。
目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。
本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
論文 参考訳(メタデータ) (2021-08-02T10:42:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。