論文の概要: Benchmarking Clinical Decision Pathway Adherence in Large Language Models
- arxiv url: http://arxiv.org/abs/2608.26592v1
- Date: Thu, 27 Aug 2026 04:17:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.240505
- Title: Benchmarking Clinical Decision Pathway Adherence in Large Language Models
- Title（参考訳）: 大規模言語モデルにおける臨床診断経路の整合性のベンチマーク
- Abstract要約: MEGA-CDPは、医療用LCMがガイドラインに準拠したCDPを生成できるかどうかを評価するためのベンチマークである。
英語と中国語の2,274の診療ガイドラインから、ガイドライン・ツー・ケース・パイプラインを通じて構築されている。
シングルターンのウィグネットとマルチターンのインタラクティブ設定の両方をサポートし、CDP指向の評価フレームワークを導入している。
- 参考スコア（独自算出の注目度）: 111.31765633748081
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Following clinical decision pathways (CDPs) defined by clinical practice guidelines is essential for safe and reliable medical decision-making. However, existing medical large language model (LLM) benchmarks mainly evaluate final-answer accuracy, providing limited evaluation of models' ability to adhere to guidelines. To address this gap, we introduce MEGA-CDP, a benchmark for evaluating whether medical LLMs can generate guideline-adherent CDPs using provided guidelines as references. MEGA-CDP is constructed from 2,274 English and Chinese clinical practice guidelines through a guideline-to-case pipeline, yielding 42,353 clinical cases with explicit reference CDPs. It supports both single-turn vignette and multi-turn interactive settings, and introduces a CDP-oriented evaluation framework for measuring pathway consistency. Experiments on 16 representative LLMs show that reliable clinical decision support remains challenging for current models, demonstrating the need for CDP-oriented evaluation and the value of MEGA-CDP for advancing guideline adherence in medical LLMs.
- Abstract（参考訳）: 臨床実践ガイドラインで定義された臨床決定経路(CDP)に従うことは、安全で信頼性の高い医療意思決定に不可欠である。
しかし、既存の医療用大規模言語モデル(LLM)ベンチマークは主に最終回答精度を評価し、ガイドラインに準拠するモデルの能力を限定的に評価する。
このギャップに対処するため,医療用LCMがガイドラインを基準としてガイドラインに適合したCDPを生成できるかどうかを評価するベンチマークであるMEGA-CDPを導入する。
MEGA-CDPは英語と中国語の2,274の診療ガイドラインから、ガイドラインからケースへのパイプラインを通して構築され、明確な基準CDPを持つ42,353の臨床症例が得られた。
シングルターンウィグネットとマルチターンインタラクティブ設定の両方をサポートし、経路整合性を測定するためのCDP指向評価フレームワークを導入している。
16の代表的なLCMに対する実験では、CDP指向評価の必要性と、医療LSMにおけるガイドラインの遵守を促進するためのMEGA-CDPの価値が示され、信頼性の高い臨床決定支援が現在のモデルでは依然として困難であることが示されている。
関連論文リスト
- Concept-Grounded Reasoning with Prompt-Driven Localization for Interpretable Structured Report Generation [66.62662330558906]
CORALは、空間的接地と概念レベルの監督を統一的な推論プロセスに統合するマルチモーダルフレームワークである。
コーラルは、疾患の局所化とコンセプション・ボトルネックモジュールによる多クラス臨床属性の予測のために、プロンプト駆動型医療セグメンテーションモデルを採用している。
BUS-CoTとIU X線データセットの実験では、診断精度、概念整合性、報告品質が強力な汎用および医療MLLMよりも一貫した改善が示されている。
論文 参考訳（メタデータ） (2026-09-14T10:21:23Z) - LLM-Orchestrated Conformance Checking in Stroke Care Without Computer-Interpretable Guidelines [35.18016233072556]
医療におけるコンパタンスチェックは、患者のケアパスが臨床ガイドラインに準拠しているかどうかを評価することを目的としている。
本研究は、非構造化臨床およびガイドラインテキストから直接、医療適合性チェックをサポートするモジュラーフレームワークを導入する。
論文 参考訳（メタデータ） (2026-06-08T13:44:03Z) - Evaluating Large Language Models in Dynamic Clinical Decision-Making with Standardized Patient Cases [71.12461204050985]
MedSP1000 (MedSP1000) は、SP由来の臨床エージェント評価のための対話型ベンチマークである。
ピアレビューされたSPの授業ケースを、定義されたSPケーススクリプト、臨床環境コンテキスト、人為的な構造化ルーブリックで実行可能なシナリオに変換する。
MedSP1000を多種多様な汎用および医療用LLMに適用すると、静的ベンチマークの性能がそのような教育シナリオに確実に変換されないことが分かる。
論文 参考訳（メタデータ） (2026-06-03T17:17:16Z) - EHRBench: An Automated and Reliable EHR-based Benchmark for Clinical Decision Making with LLMs [51.129595320595094]
臨床意思決定 (CDM) は、臨床医が診断を推測し、治療を選択し、不完全な証拠の下で将来の健康結果を予測する、現実的な臨床の中心である。
LLMモデルは、強力な言語能力、幅広い生物医学的知識、効率性のために、これらの決定をサポートするためにますます使われています。
LLMの実際の臨床決定タスクに対する信頼性は、まだ十分に理解されていない。
論文 参考訳（メタデータ） (2026-05-28T22:38:26Z) - MedGuideX: Internalizing Decision Logic from Executable Guidelines into Large Language Models for Clinical Reasoning [24.304759042225697]
臨床実践ガイドライン(CPGs)は、臨床医が患者変数、条件基準、レコメンデーションルールを評価することによって適用するエビデンスに基づく意思決定ロジックを符号化する。
我々は、CPG勧告を実行可能な臨床判断ロジックに変換するガイドライン由来のトレーニングパイプラインを導入する。
4つの臨床推論ベンチマークで、MedGuideXは平均精度が10.28%向上した。
論文 参考訳（メタデータ） (2026-05-26T05:36:05Z) - A Decade-Scale Benchmark Evaluating LLMs' Clinical Practice Guidelines Detection and Adherence in Multi-turn Conversations [60.2076951536797]
大規模言語モデル(LLM)は、医療シナリオにますます多くデプロイされている。
LLMが会話中に臨床ガイドラインを特定・遵守できるのかは不明確である。
CPGBenchは、LSMの臨床ガイドラインの検出と付着能力をベンチマークする自動フレームワークである。
論文 参考訳（メタデータ） (2026-03-26T09:00:55Z) - MedArena: Comparing LLMs for Medicine-in-the-Wild Clinician Preferences [50.71326426975699]
MedArenaは医療用大規模言語モデル(LLM)のためのインタラクティブな評価プラットフォームである。
MedArenaは、2つのランダムに選択されたモデルからの応答を表示し、ユーザが好みのレスポンスを選択するように要求する。
2025年11月1日までに12台のLLMで収集された1571の選好のうち、ジェミニ2.0フラッシュシンキング、ジェミニ2.5プロ、GPT-4oがブラッドリー・テリーのレーティングで上位3モデルとなった。
論文 参考訳（メタデータ） (2026-03-13T22:30:26Z) - From Prompt Optimization to Multi-Dimensional Credibility Evaluation: Enhancing Trustworthiness of Chinese LLM-Generated Liver MRI Reports [13.226827332616134]
大言語モデル (LLM) は画像所見から診断結果を生成する上で有望な性能を示した。
本研究は, MDCA (Multi-dimensional Credibility Assessment) フレームワークの導入により, LLM産生肝MRIの信頼性を高めることを目的とする。
論文 参考訳（メタデータ） (2025-10-27T04:57:20Z) - Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。
本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。
本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
論文 参考訳（メタデータ） (2025-10-11T16:24:35Z) - Refine Medical Diagnosis Using Generation Augmented Retrieval and Clinical Practice Guidelines [16.56254046507092]
GARMLE-Gは、医療用言語モデルの出力を権威的ガイドラインに根拠づけた、世代別検索フレームワークである。
従来のRetrieval-Augmented Generationベースのアプローチとは異なり、GARMLE-Gは権威的なガイドラインコンテンツを直接検索することで幻覚のない出力を可能にする。
高血圧診断のためのプロトタイプシステムを開発し, 検索精度, 意味的関連性, 臨床ガイドラインの適合性を実証した。
論文 参考訳（メタデータ） (2025-06-22T11:31:13Z) - MedGUIDE: Benchmarking Clinical Decision-Making in Large Language Models [10.46932473088646]
MedGUIDEは,Large Language Models (LLMs) を評価するための新しいベンチマークであり,ガイドラインに一貫性のある臨床診断を行う能力について紹介する。
MedGUIDEは17種類の癌にまたがる55のNCCN決定木から構築されている。
本研究では,10の臨床的,言語学的基準において,専門家ラベル付き報酬モデルとLLM-as-a-judgeアンサンブルを組み合わせた2段階の品質選択プロセスを適用し,高品質なサンプル7,747を選定した。
論文 参考訳（メタデータ） (2025-05-16T18:21:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。