論文の概要: EHRNote-ChatQA: A Benchmark for Evidence-Grounded Multi-Turn Clinical Question Answering over Longitudinal Discharge Summaries

• arxiv url: http://arxiv.org/abs/2606.15735v2
• Date: Tue, 16 Jun 2026 10:33:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 15:01:46.738919
• Title: EHRNote-ChatQA: A Benchmark for Evidence-Grounded Multi-Turn Clinical Question Answering over Longitudinal Discharge Summaries
• Title（参考訳）: EHRNote-ChatQA : 経時的放電補助剤に関する多施設臨床調査のベンチマーク
• Authors: Jiyoun Kim, Muhan Yeo, Eunhye Jang, Jeewon Yang, Hangyul Yoon, Su Ji Lee, Hee Jo Han, Hee-Jae Jung, Doyun Kwon, Jun young Lee, Jaehun Lee, Jung-Oh Lee, Sunjun Kweon, Jong Hak Moon, Daseul Kim, Minjae Cho, Edward Choi,
• Abstract要約: EHRNote-ChatQAは,患者の複数の退院サマリーに答えるエビデンスグラウンドド・マルチターン臨床質問に対する最初のベンチマークである。 EHRNote-ChatQAは、特定されていないMIMIC-IV放電サマリーから作られ、患者レベル967個のマルチターンサンプルを1から5つのノートと16,072個の医療専門家が検証したQAペアを含む。
• 参考スコア（独自算出の注目度）: 13.472329890204831
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discharge summaries are crucial clinical documents containing the context of a patient's overall hospital stay, and are routinely reviewed by medical experts for patient readmission, ongoing care, and diagnostic decision-making. When reviewing them, medical experts often must iteratively synthesize information across multiple summaries while verifying the evidence supporting each answer. Although large language models (LLMs) are increasingly explored for clinical question answering, existing benchmarks do not sufficiently reflect this setting: they often evaluate exam-style medical knowledge or focus on single-turn question answering with limited evidence-grounding evaluation. We introduce EHRNote-ChatQA, the first benchmark for evidence-grounded multi-turn clinical question answering over patients' multiple discharge summaries. Built from de-identified MIMIC-IV discharge summaries, EHRNote-ChatQA contains 967 patient-level multi-turn samples spanning one to five notes and 16,072 medical-expert-verified QA pairs (8,036 content questions, each paired with an evidence-grounding question) across eight clinical categories. The benchmark is constructed through an expert-informed pipeline combining discharge-summary structuring schema, expert-curated multi-turn QA templates, and LLM-based generation, followed by review and revision of every single QA sample by 11 medical experts. Benchmarking 22 open- and closed-source LLMs reveals several challenges, including that LLMs struggle more with evidence grounding than content answering, multi-turn errors compound across turns, and single-turn clinical QA performance does not reliably transfer to this setting. These findings establish EHRNote-ChatQA as a rigorous and practical benchmark for evaluating clinical QA systems. The dataset will be made publicly available through PhysioNet credentialed access.
• Abstract（参考訳）: 退院サマリー(英: discharge summaries)は、患者の入院状況を含む重要な臨床文書であり、患者の入院、継続的なケア、診断決定のための医療専門家によって定期的にレビューされる。 レビューする際、医療専門家は複数の要約にまたがる情報を反復的に合成し、それぞれの回答を支持する証拠を検証しなければならないことが多い。 大規模言語モデル (LLM) は, 臨床質問応答のために研究されているが, 既存のベンチマークでは, この設定を十分に反映していない。 EHRNote-ChatQAは,患者の複数の退院サマリーに答えるエビデンスグラウンドド・マルチターン臨床質問に対する最初のベンチマークである。 EHRNote-ChatQAは、未確認MIMIC-IV放電サマリーから作成され、患者レベル967個のマルチターンサンプルを1～5つのノートと16,072個の医療専門家が検証したQAペア(8,036問、それぞれエビデンスグラウンドの質問でペアを組んだ)を8つの臨床カテゴリに含んでいる。 ベンチマークは、放電最終構造スキーマ、専門家によるマルチターンQAテンプレート、LSMベースの生成を組み合わせたエキスパートインフォームドパイプラインを使用して構築され、その後、11人の医療専門家によるすべてのQAサンプルのレビューと修正が行われる。 22のオープンソースおよびクローズドソース LLM のベンチマークでは、LLM がコンテンツ応答よりも根拠となるエビデンスに苦しむこと、ターン間の多ターンエラー複合、シングルターン臨床QA のパフォーマンスがこの設定に確実に移行しないことなど、いくつかの課題が明らかにされている。 これらの結果から, EHRNote-ChatQAは臨床QAシステムを評価するための厳密で実践的なベンチマークとして確立された。 データセットはPhyloNet認証アクセスを通じて公開される。

関連論文リスト

• Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
  大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。 本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。 本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
  論文  参考訳（メタデータ） (2025-10-11T16:24:35Z)
• Med-RewardBench: Benchmarking Reward Models and Judges for Medical Multimodal Large Language Models [57.73472878679636]
  Med-RewardBenchは、医療報酬モデルと審査員を評価するために特別に設計された最初のベンチマークである。 Med-RewardBenchは、13の臓器系と8の臨床部門にまたがるマルチモーダルデータセットを特徴としている。 厳格な3段階のプロセスは、6つの臨床的に重要な次元にわたる高品質な評価データを保証する。
  論文  参考訳（メタデータ） (2025-08-29T08:58:39Z)
• Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
  大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。 本稿では,構造化医療推論を利用した新しいアプローチを提案する。 我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
  論文  参考訳（メタデータ） (2025-03-05T05:24:55Z)
• Large Language Models in the Clinic: A Comprehensive Benchmark [63.21278434331952]
  診療所の大規模言語モデル(LLM)をよりよく理解するためのベンチマークであるClimateBenchを構築した。 まず、さまざまな臨床言語の生成、理解、推論タスクを含む11の既存のデータセットを収集します。 次に,現実の実践において複雑だが一般的である6つの新しいデータセットと臨床タスクを構築した。 ゼロショット設定と少数ショット設定の両方で、20個のLDMを広範囲に評価する。
  論文  参考訳（メタデータ） (2024-04-25T15:51:06Z)
• Benchmarking Large Language Models on Answering and Explaining Challenging Medical Questions [19.436999992810797]
  JAMAクリニカルチャレンジとメドブルレットという2つの新しいデータセットを構築した。 JAMAクリニカルチャレンジは、挑戦的な臨床ケースに基づく質問から成り、メドブルレットはシミュレートされた臨床質問から成り立っている。 各種のプロンプトを用いて2つのデータセット上で7つのLSMを評価する。
  論文  参考訳（メタデータ） (2024-02-28T05:44:41Z)
• EHRNoteQA: An LLM Benchmark for Real-World Clinical Practice Using Discharge Summaries [9.031182965159976]
  大規模言語モデル(LLM)は、大規模で複雑なデータを効率的に分析する可能性を示している。 我々は,MIMIC-IV EHR上に構築された新しいベンチマークであるEHRNoteQAを紹介した。 EHRNoteQAには、複数の放電サマリーにまたがる情報を必要とし、実際の臨床検査の複雑さと多様性を反映した8つの多様なトピックをカバーする質問が含まれている。
  論文  参考訳（メタデータ） (2024-02-25T09:41:50Z)
• SPeC: A Soft Prompt-Based Calibration on Performance Variability of Large Language Model in Clinical Notes Summarization [50.01382938451978]
  本稿では,ソフトプロンプトを用いたモデルに依存しないパイプラインを導入し,確率に基づく要約の利点を保ちながら分散を減少させる。 実験結果から,本手法は性能を向上するだけでなく,様々な言語モデルの分散を効果的に抑制することが明らかとなった。
  論文  参考訳（メタデータ） (2023-03-23T04:47:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。