論文の概要: MTDiag: A Multi-Turn Diagnostic Dataset Towards Clinically Meaningful LLM Evaluation
- arxiv url: http://arxiv.org/abs/2608.25085v1
- Date: Tue, 25 Aug 2026 19:27:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.420941
- Title: MTDiag: A Multi-Turn Diagnostic Dataset Towards Clinically Meaningful LLM Evaluation
- Title（参考訳）: MTDiag : 臨床的に意味のあるLCM評価に向けた多段階診断データセット
- Abstract要約: MTDiagは3つの異種源から構築された大規模マルチターン診断対話データセットである。
我々は,このスキーマ,UserLM-8Bに基づく発話生成パイプライン,および構造化された臨床証拠を自然言語の発話に変換する医師検証データセットをリリースする。
- 参考スコア（独自算出の注目度）: 39.83005700511833
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Clinical diagnosis is fundamentally interactive and incremental, yet the dominant paradigm for evaluating Large Language Models (LLMs) in medicine remains static QA benchmarks or template-based dialogues. These benchmarks say little about whether a model can serve as a diagnostic agent in a dynamic clinical encounter, with LLMs showing significant accuracy and reliability degradation in multi-turn settings. To address this issue, we present MTDiag, a large multi-turn diagnostic dialogue dataset constructed from three heterogeneous sources: DDXPlus, MIMIC-IV, and published case reports (AJCR), covering common ED presentations as well as long-tail rare and atypical conditions. All cases are normalized into a canonical schema anchored in the most comprehensive and widely-adopted medical knowledge bases (UMLS concept identifiers, with ICD-10 diagnosis codes). We release the schema, a UserLM-8B-based utterance-generation pipeline, and the physician-validated dataset that converts structured clinical evidence into natural-language utterances. Importantly, we introduce and motivate clinical knowledge-grounded metrics for evaluating LLMs as diagnostic agents, beyond diagnostic accuracy, for the task of multi-turn differential diagnosis.
- Abstract（参考訳）: 臨床診断は基本的にインタラクティブで漸進的だが、医学におけるLarge Language Models (LLMs) の評価における主要なパラダイムは静的QAベンチマークやテンプレートベースの対話である。
これらのベンチマークでは、モデルがダイナミックな臨床的遭遇において診断薬として機能するかどうかはほとんど語られず、LSMはマルチターン設定においてかなりの精度と信頼性の低下を示す。
本問題に対処するため,DDXPlus,MIMIC-IV,AJCRの3つの異種源から構築された大規模な多方向診断対話データセットMTDiagについて報告する。
すべてのケースは、最も包括的で広く採用されている医療知識ベース(UMLS概念識別子、ICD-10診断コード)に固定された標準スキーマに正規化されます。
我々は,このスキーマ,UserLM-8Bに基づく発話生成パイプライン,および構造化された臨床証拠を自然言語の発話に変換する医師検証データセットをリリースする。
重要なことは,多回鑑別診断の課題に対して,診断精度以上の診断薬としてLSMを評価するための臨床知識ベースメトリクスを導入し,動機づけることである。
関連論文リスト
- Concept-Grounded Reasoning with Prompt-Driven Localization for Interpretable Structured Report Generation [66.62662330558906]
CORALは、空間的接地と概念レベルの監督を統一的な推論プロセスに統合するマルチモーダルフレームワークである。
コーラルは、疾患の局所化とコンセプション・ボトルネックモジュールによる多クラス臨床属性の予測のために、プロンプト駆動型医療セグメンテーションモデルを採用している。
BUS-CoTとIU X線データセットの実験では、診断精度、概念整合性、報告品質が強力な汎用および医療MLLMよりも一貫した改善が示されている。
論文 参考訳（メタデータ） (2026-09-14T10:21:23Z) - SUP-MIMIC: A Multi-Task Clinical Diagnosis Benchmark for Evaluating LLMs' Robustness to Contradictory Evidence [27.184935350216715]
既存のベンチマークでは、大きな言語モデルが診断の曖昧さのシナリオに必要な推論能力を持っているかどうかを判断できない。
MIMIC-IV-v3.1を利用したマルチタスクフレームワークSUP-MIMICを提案する。
論文 参考訳（メタデータ） (2026-08-30T05:59:47Z) - MedReaMM: Evaluating Large Multimodal Models on Expert-Level Clinical Diagnostic Synthesis [61.266743965495884]
異種臨床証拠を合成するモデルの能力を評価するためのベンチマークであるMedReaMMを紹介する。
MedReaMMは625の専門患者と、平均2.79の医療画像と、ICD-11コードで注釈付けされた1,042の標準診断を含む。
23大マルチモーダルモデル (LMM) を評価し, 診断精度が50%未満であることが確認された。
論文 参考訳（メタデータ） (2026-08-23T09:37:53Z) - Evaluating Multi-Turn Multimodal Diagnostic Reasoning on Challenging Real-World Clinical Cases [59.5328455571863]
ClinMM-Benchは、これまでで最大のマルチターンマルチモーダル臨床診断評価ベンチマークである。
実際の患者は1,089件、医療画像は3,760件、専門は8件。
プロプライエタリモデルでは診断精度が最も高かったが、正確な診断の割合は限られていた。
論文 参考訳（メタデータ） (2026-07-28T16:19:03Z) - Clinical Cognition Alignment for Gastrointestinal Diagnosis with Multimodal LLMs [63.535652574541764]
MLLM(Multimodal Large Language Models)は医用画像解析において顕著な可能性を示した。
消化器内視鏡におけるそれらの応用は、現在、2つの重要な限界によって妨げられている。
本稿では,これらの課題に対処する新しい臨床認知アライメント(CogAlign)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-21T07:47:37Z) - ClinDEF: A Dynamic Evaluation Framework for Large Language Models in Clinical Reasoning [58.01333341218153]
ClinDEF(ClinDEF)は, LLMにおける臨床推論をシミュレートされた診断対話を用いて評価する動的フレームワークである。
本手法は, 患者を発症し, LLMをベースとした医師と自動患者エージェントとのマルチターンインタラクションを容易にする。
実験により、ClinDEFは最先端のLSMにおいて重要な臨床推論ギャップを効果的に露呈することが示された。
論文 参考訳（メタデータ） (2025-12-29T12:58:58Z) - Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。
本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。
本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
論文 参考訳（メタデータ） (2025-10-11T16:24:35Z) - Insight: A Multi-Modal Diagnostic Pipeline using LLMs for Ocular Surface Disease Diagnosis [17.970320199904084]
眼表面疾患の診断に大規模言語モデル(LLM)を用いた,革新的なマルチモーダル診断パイプライン(MDPipe)を導入する。
これらの課題に対処するために,眼表面疾患の診断に大規模言語モデル(LLM)を用いることで,革新的なマルチモーダル診断パイプライン(MDPipe)を導入する。
論文 参考訳（メタデータ） (2024-10-01T00:23:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。