論文の概要: Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases

• arxiv url: http://arxiv.org/abs/2503.04691v2
• Date: Mon, 10 Mar 2025 17:28:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:50:06.690302
• Title: Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases
• Title（参考訳）: 実地臨床症例におけるLCMの推論能力の定量化
• Authors: Pengcheng Qiu, Chaoyi Wu, Shuyu Liu, Weike Zhao, Zhuoxia Chen, Hongfei Gu, Chuanjin Peng, Ya Zhang, Yanfeng Wang, Weidi Xie,
• Abstract要約: MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
• 参考スコア（独自算出の注目度）: 48.87360916431396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in reasoning-enhanced large language models (LLMs), such as DeepSeek-R1 and OpenAI-o3, have demonstrated significant progress. However, their application in professional medical contexts remains underexplored, particularly in evaluating the quality of their reasoning processes alongside final outputs. Here, we introduce MedR-Bench, a benchmarking dataset of 1,453 structured patient cases, annotated with reasoning references derived from clinical case reports. Spanning 13 body systems and 10 specialties, it includes both common and rare diseases. To comprehensively evaluate LLM performance, we propose a framework encompassing three critical examination recommendation, diagnostic decision-making, and treatment planning, simulating the entire patient care journey. To assess reasoning quality, we present the Reasoning Evaluator, a novel automated system that objectively scores free-text reasoning responses based on efficiency, actuality, and completeness using dynamic cross-referencing and evidence checks. Using this benchmark, we evaluate five state-of-the-art reasoning LLMs, including DeepSeek-R1, OpenAI-o3-mini, and Gemini-2.0-Flash Thinking, etc. Our results show that current LLMs achieve over 85% accuracy in relatively simple diagnostic tasks when provided with sufficient examination results. However, performance declines in more complex tasks, such as examination recommendation and treatment planning. While reasoning outputs are generally reliable, with factuality scores exceeding 90%, critical reasoning steps are frequently missed. These findings underscore both the progress and limitations of clinical LLMs. Notably, open-source models like DeepSeek-R1 are narrowing the gap with proprietary systems, highlighting their potential to drive accessible and equitable advancements in healthcare.
• Abstract（参考訳）: 近年,DeepSeek-R1 や OpenAI-o3 などの推論強化型大規模言語モデル (LLM) の進歩が顕著に進んでいる。 しかしながら、専門的な医学的文脈におけるそれらの応用は、特に最終出力と並行して、推論プロセスの品質を評価する際には、未調査のままである。 本稿では,1,453人の構造化患者を対象としたベンチマークデータセットであるMedR-Benchを紹介する。 13の身体系と10の専門分野にまたがって、一般的な疾患と稀な疾患の両方を含んでいる。 LLMのパフォーマンスを総合的に評価するために,3つの批判的検査勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートした。 推論品質を評価するために,動的クロスレファレンスとエビデンスチェックを用いて,効率,現実性,完全性に基づく自由文推論応答を客観的に評価する新しい自動システムであるReasoning Evaluatorを提案する。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。 以上の結果から,従来のLCMは比較的単純な診断作業において,十分な検査結果が得られると85%以上の精度が得られた。 しかし、検査勧告や治療計画など、より複雑な作業ではパフォーマンスが低下する。 推論アウトプットは一般的に信頼性が高く、事実性スコアは90%を超えているが、重要な推論ステップは頻繁に見逃される。 これらの所見は臨床用LDMの進歩と限界の両面を浮き彫りにした。 とくに、DeepSeek-R1のようなオープンソースのモデルは、プロプライエタリなシステムとのギャップを狭めている。

関連論文リスト

• ChestX-Reasoner: Advancing Radiology Foundation Models with Reasoning through Step-by-Step Verification [57.22053411719822]
  ChestX-Reasoner(チェストX-Reasoner)は、臨床報告から直接採掘されるプロセスの監督を活用するために設計された放射線診断MLLMである。 我々の2段階のトレーニングフレームワークは、モデル推論と臨床標準との整合性を高めるために、プロセス報酬によって指導された教師付き微調整と強化学習を組み合わせる。
  論文  参考訳（メタデータ） (2025-04-29T16:48:23Z)
• Med-CoDE: Medical Critique based Disagreement Evaluation Framework [72.42301910238861]
  医学的文脈における大きな言語モデル(LLM)の信頼性と精度は依然として重要な懸念点である。 現在の評価手法はロバスト性に欠けることが多く、LLMの性能を総合的に評価することができない。 我々は,これらの課題に対処するために,医療用LCMの特別設計評価フレームワークであるMed-CoDEを提案する。
  論文  参考訳（メタデータ） (2025-04-21T16:51:11Z)
• Medical Reasoning in LLMs: An In-Depth Analysis of DeepSeek R1 [0.0]
  本研究は、100症例のMedQAを用いて、DeepSeek R1の専門的パターンに対する医学的推論を評価する。 このモデルは、診断精度93%を達成し、鑑別診断、ガイドラインに基づく治療選択、患者固有の因子の統合を通じて、体系的な臨床的判断を実証した。 誤り分析では, バイアスのアンカー, 競合するデータの整合性の課題, 代替案の探索不足, 過剰思考, 知識ギャップ, 中間的治療に対する決定的治療の早期優先順位付けなど, 持続的な限界が認められた。
  論文  参考訳（メタデータ） (2025-03-27T09:18:08Z)
• Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
  大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。 本稿では,構造化医療推論を利用した新しいアプローチを提案する。 我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
  論文  参考訳（メタデータ） (2025-03-05T05:24:55Z)
• Evaluating Computational Accuracy of Large Language Models in Numerical Reasoning Tasks for Healthcare Applications [0.0]
  医療分野で大きな言語モデル(LLM)が変革的なツールとして登場した。 数値推論の習熟度、特に臨床応用のような高い評価の領域では、未解明のままである。 本研究では,医療現場における数値推論作業におけるLCMの計算精度について検討した。
  論文  参考訳（メタデータ） (2025-01-14T04:29:43Z)
• Superhuman performance of a large language model on the reasoning tasks of a physician [10.043418251604624]
  医療タスクにおける大規模言語モデル(LLM)の性能は、伝統的に複数の選択質問ベンチマークを用いて評価されてきた。 我々はOpenAIのo1-previewモデルを評価する。これは、応答を生成する前に、思考プロセスの連鎖を介して実行時間を向上させるために開発されたモデルである。
  論文  参考訳（メタデータ） (2024-12-14T14:46:18Z)
• SemioLLM: Evaluating Large Language Models for Diagnostic Reasoning from Unstructured Clinical Narratives in Epilepsy [45.2233252981348]
  臨床知識を符号化するための言語モデル(LLM)が示されている。 6つの最先端モデルをベンチマークする評価フレームワークであるSemioLLMを提案する。 ほとんどのLSMは、脳内の発作発生領域の確率的予測を正確かつ確実に生成できることを示す。
  論文  参考訳（メタデータ） (2024-07-03T11:02:12Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Large Language Models in the Clinic: A Comprehensive Benchmark [63.21278434331952]
  診療所の大規模言語モデル(LLM)をよりよく理解するためのベンチマークであるClimateBenchを構築した。 まず、さまざまな臨床言語の生成、理解、推論タスクを含む11の既存のデータセットを収集します。 次に,現実の実践において複雑だが一般的である6つの新しいデータセットと臨床タスクを構築した。 ゼロショット設定と少数ショット設定の両方で、20個のLDMを広範囲に評価する。
  論文  参考訳（メタデータ） (2024-04-25T15:51:06Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は意思決定タスクを自動化するために使用される。 本稿では,LPMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを評価する。 さまざまな因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成します。 これらのベンチマークにより、LLMが事実を記憶したり、他のショートカットを見つけたりすることで、変化を正確に予測する能力を切り離すことができます。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• Does Biomedical Training Lead to Better Medical Performance? [2.3814275542331385]
  大規模言語モデル(LLM)は、患者のケア、診断、管理プロセスに大きく貢献することが期待されている。 本研究では, バイオメディカルトレーニングが6つの実践的医療課題の文脈に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2024-04-05T12:51:37Z)
• Evaluation of General Large Language Models in Contextually Assessing Semantic Concepts Extracted from Adult Critical Care Electronic Health Record Notes [17.648021186810663]
  本研究の目的は,大規模言語モデル(LLM)の実際の臨床ノートの理解と処理における性能を評価することである。 GPTファミリーモデルは、コスト効率と時間節約能力によって証明された、かなりの効率性を示している。
  論文  参考訳（メタデータ） (2024-01-24T16:52:37Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。