論文の概要: MedGUIDE: Benchmarking Clinical Decision-Making in Large Language Models

• arxiv url: http://arxiv.org/abs/2505.11613v1
• Date: Fri, 16 May 2025 18:21:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.73782
• Title: MedGUIDE: Benchmarking Clinical Decision-Making in Large Language Models
• Title（参考訳）: MedGUIDE:大規模言語モデルにおける臨床意思決定のベンチマーク
• Authors: Xiaomin Li, Mingye Gao, Yuexing Hao, Taoran Li, Guangya Wan, Zihan Wang, Yijun Wang,
• Abstract要約: MedGUIDEは,Large Language Models (LLMs) を評価するための新しいベンチマークであり,ガイドラインに一貫性のある臨床診断を行う能力について紹介する。 MedGUIDEは17種類の癌にまたがる55のNCCN決定木から構築されている。 本研究では,10の臨床的,言語学的基準において,専門家ラベル付き報酬モデルとLLM-as-a-judgeアンサンブルを組み合わせた2段階の品質選択プロセスを適用し,高品質なサンプル7,747を選定した。
• 参考スコア（独自算出の注目度）: 10.46932473088646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Clinical guidelines, typically structured as decision trees, are central to evidence-based medical practice and critical for ensuring safe and accurate diagnostic decision-making. However, it remains unclear whether Large Language Models (LLMs) can reliably follow such structured protocols. In this work, we introduce MedGUIDE, a new benchmark for evaluating LLMs on their ability to make guideline-consistent clinical decisions. MedGUIDE is constructed from 55 curated NCCN decision trees across 17 cancer types and uses clinical scenarios generated by LLMs to create a large pool of multiple-choice diagnostic questions. We apply a two-stage quality selection process, combining expert-labeled reward models and LLM-as-a-judge ensembles across ten clinical and linguistic criteria, to select 7,747 high-quality samples. We evaluate 25 LLMs spanning general-purpose, open-source, and medically specialized models, and find that even domain-specific LLMs often underperform on tasks requiring structured guideline adherence. We also test whether performance can be improved via in-context guideline inclusion or continued pretraining. Our findings underscore the importance of MedGUIDE in assessing whether LLMs can operate safely within the procedural frameworks expected in real-world clinical settings.
• Abstract（参考訳）: 臨床ガイドラインは、一般的に決定木として構成され、証拠に基づく医療実践の中心であり、安全かつ正確な診断決定を確実にするために重要である。 しかし、LLM(Large Language Models)がそのような構造化されたプロトコルを確実に従えるかどうかは不明だ。 本研究は,ガイドラインに一貫性のある臨床診断を行う上で,LCMを評価するための新しいベンチマークであるMedGUIDEを紹介する。 MedGUIDEは17種類の癌にまたがる55のNCCN決定木から構築され、LSMによって生成される臨床シナリオを使用して、多点検診の大規模なプールを作成する。 本研究では,10の臨床的,言語学的基準において,専門家ラベル付き報酬モデルとLLM-as-a-judgeアンサンブルを組み合わせた2段階の品質選択プロセスを適用し,高品質なサンプル7,747を選定した。 汎用,オープンソース,医療特化モデルにまたがる25個のLLMを評価した結果,ドメイン固有のLLMでさえ,構造化ガイドラインの遵守を必要とするタスクでは不十分であることが判明した。 また、コンテクスト内ガイドラインのインクルードや事前学習の継続により、パフォーマンスが向上するかどうかも検証する。 本研究は, LLMが実際の臨床現場で期待される手続き的枠組み内で安全に動作可能であるかどうかを評価する上で, MedGUIDEの重要性を裏付けるものである。

関連論文リスト

• Demystifying Large Language Models for Medicine: A Primer [50.83806796466396]
  大規模言語モデル(LLM)は、医療のさまざまな側面に革命をもたらすことのできる、変革的なAIツールのクラスである。 本チュートリアルは、LSMを臨床実践に効果的に統合するために必要なツールを医療専門家に提供することを目的としている。
  論文  参考訳（メタデータ） (2024-10-24T15:41:56Z)
• CliMedBench: A Large-Scale Chinese Benchmark for Evaluating Medical Large Language Models in Clinical Scenarios [50.032101237019205]
  CliMedBenchは、14のエキスパートによるコア臨床シナリオを備えた総合的なベンチマークである。 このベンチマークの信頼性はいくつかの点で確認されている。
  論文  参考訳（メタデータ） (2024-10-04T15:15:36Z)
• MEDIC: Towards a Comprehensive Framework for Evaluating LLMs in Clinical Applications [2.838746648891565]
  臨床能力の5つの重要な側面にまたがって,大規模言語モデル(LLM)を評価するフレームワークであるMEDICを紹介する。 医療質問応答,安全性,要約,メモ生成,その他のタスクにおいて,MDDICを用いてLCMを評価する。 その結果, モデルサイズ, ベースライン, 医療用微調整モデル間の性能差が示され, 特定のモデル強度を必要とするアプリケーションに対して, モデル選択に影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2024-09-11T14:44:51Z)
• SemioLLM: Evaluating Large Language Models for Diagnostic Reasoning from Unstructured Clinical Narratives in Epilepsy [45.2233252981348]
  臨床知識を符号化するための言語モデル(LLM)が示されている。 6つの最先端モデルをベンチマークする評価フレームワークであるSemioLLMを提案する。 ほとんどのLSMは、脳内の発作発生領域の確率的予測を正確かつ確実に生成できることを示す。
  論文  参考訳（メタデータ） (2024-07-03T11:02:12Z)
• CliBench: A Multifaceted and Multigranular Evaluation of Large Language Models for Clinical Decision Making [16.310913127940857]
  我々はMIMIC IVデータセットから開発された新しいベンチマークであるCliBenchを紹介する。 このベンチマークは、臨床診断におけるLSMの能力を包括的かつ現実的に評価する。 臨床診断の熟練度を評価するため,先進LSMのゼロショット評価を行った。
  論文  参考訳（メタデータ） (2024-06-14T11:10:17Z)
• Large Language Models in the Clinic: A Comprehensive Benchmark [63.21278434331952]
  診療所の大規模言語モデル(LLM)をよりよく理解するためのベンチマークであるClimateBenchを構築した。 まず、さまざまな臨床言語の生成、理解、推論タスクを含む11の既存のデータセットを収集します。 次に,現実の実践において複雑だが一般的である6つの新しいデータセットと臨床タスクを構築した。 ゼロショット設定と少数ショット設定の両方で、20個のLDMを広範囲に評価する。
  論文  参考訳（メタデータ） (2024-04-25T15:51:06Z)
• A Spectrum Evaluation Benchmark for Medical Multi-Modal Large Language Models [57.88111980149541]
  Asclepiusは、Med-MLLMの異なる医学的特長と診断能力で評価する、新しいMed-MLLMベンチマークである。 3つの基本原則に基づいて、アスクレピウスは15の医療専門分野を包括的に評価する。 また、6つのMed-MLLMの詳細な分析を行い、3人の専門家と比較した。
  論文  参考訳（メタデータ） (2024-02-17T08:04:23Z)
• MedDM:LLM-executable clinical guidance tree for clinical decision-making [9.27804927412851]
  LLMで直接使用できる適切な臨床ガイダンスツリーデータセットは存在しない。 まず LLM-executavle Clinical Guide Tree (CGT) を提案する。 本研究は,フローチャートから医療診断意思決定データセット(MedDM)を構築した。
  論文  参考訳（メタデータ） (2023-12-05T02:44:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。