論文の概要: CLExEval: A Human-in-the-Loop Framework for Qualitative Evaluation of LLM Clinical Reasoning
- arxiv url: http://arxiv.org/abs/2606.31608v1
- Date: Tue, 30 Jun 2026 12:56:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.228356
- Title: CLExEval: A Human-in-the-Loop Framework for Qualitative Evaluation of LLM Clinical Reasoning
- Title（参考訳）: CLExEval : LLM臨床推論の質的評価のためのHuman-in-the-Loopフレームワーク
- Abstract要約: 大規模言語モデル (LLMs) は多くの医学ベンチマークにおいて強い結果が得られたが, 臨床的理由を確実に評価することは困難である。
プログレッシブな情報マスキング下でのLCM臨床推論を評価するための人為的ループ・フレームワークであるCLExEvalを紹介した。
- 参考スコア（独自算出の注目度）: 37.91882261875461
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) achieve strong results on many medical benchmarks, but their clinical reasoning remains difficult to evaluate reliably. A central risk is an evaluation illusion: fluent and well-structured explanations can appear clinically convincing even when the final diagnosis is incorrect. We introduce CLExEval, a human-in-the-loop framework for evaluating LLM clinical reasoning under progressive information masking. CLExEval combines 5,600 expert-physician annotations with 200 clinical reasoning traces derived from 40 rare diagnostic cases. Our analysis identifies three recurring failure patterns: (i) verbosity bias, where GPT-4o-mini's diagnostic accuracy drops from 95.0% to 32.5% under information scarcity; (ii) a hidden knowledge paradox, where a specialist model reaches 92.5% maximum diagnostic potential but fails to retrieve that knowledge reliably in verbose contexts; and (iii) a 68.6% reasoning-to-output mismatch, where correct diagnoses appear in reasoning traces but are not reflected in final answers. We further evaluate the LLM-as-a-Judge paradigm on a human-verified failure set (n = 142). GPT-4o-mini approved 47.9% of clinically incorrect outputs, while HuatuoGPT-o1 approved all validly scored failures and showed a positive self-preference bias. These results suggest that standalone automated clinical evaluations can substantially overestimate clinical reliability without expert-grounded validation.
- Abstract（参考訳）: 大規模言語モデル (LLMs) は多くの医学ベンチマークにおいて強い結果が得られたが, 臨床的理由を確実に評価することは困難である。
フロートでよく構造化された説明は、最終診断が間違っていても臨床的に説得力があるように見える。
プログレッシブな情報マスキングの下でLLMの臨床推論を評価するための,人為的ループ・フレームワークであるCLExEvalを紹介する。
CLExEvalは、40の稀な診断症例から得られた5,600の専門家-物理学者のアノテーションと200の臨床推論の痕跡を組み合わせている。
私たちの分析では、繰り返し発生する3つの障害パターンを特定します。
(i)情報不足下においてGPT-4o-miniの診断精度が95.0%から32.5%に低下する冗長性バイアス
2 専門的モデルが92.5%の最大診断可能性に達するが、冗長な文脈でその知識を確実に回収できない隠された知識パラドックス
三 68.6%の合理化ミスマッチで、正しい診断が推理の痕跡に現れるが、最終回答には反映されない。
さらに,人間の検証した故障集合(n = 142)上でのLCM-as-a-Judgeパラダイムを評価する。
GPT-4o-miniは臨床的に誤りのある出力の47.9%を承認し、HuatuoGPT-o1は有効な失敗を承認し、肯定的な自己選好バイアスを示した。
以上より,単立型自動臨床評価は,専門家による検証を伴わずに臨床信頼性を著しく過大評価できる可能性が示唆された。
関連論文リスト
- Evaluating Multi-Turn Multimodal Diagnostic Reasoning on Challenging Real-World Clinical Cases [59.5328455571863]
ClinMM-Benchは、これまでで最大のマルチターンマルチモーダル臨床診断評価ベンチマークである。
実際の患者は1,089件、医療画像は3,760件、専門は8件。
プロプライエタリモデルでは診断精度が最も高かったが、正確な診断の割合は限られていた。
論文 参考訳（メタデータ） (2026-07-28T16:19:03Z) - Information-seeking failures of large language models in agentic clinical reasoning [1.0175801260973338]
推論の痕跡は臨床的推論では高い値を示したが、正確性とは無関係であり、局所的コヒーレントな合理性と世界的正しい結論とのギャップが明らかとなった。
これらの結果から, 臨床腫瘍学における現在のモデルの主な限界は, 医療知識の不足ではなく, 不確実性による情報探索の体系的失敗であることが示唆された。
論文 参考訳（メタデータ） (2026-07-11T12:10:33Z) - Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。
1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。
診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
論文 参考訳（メタデータ） (2026-04-06T00:23:10Z) - Mind the Rarities: Can Rare Skin Diseases Be Reliably Diagnosed via Diagnostic Reasoning? [31.103598483020857]
大規模視覚言語モデル(LVLM)は皮膚学において強い性能を示す。
稀な疾患に対する診断的推論は ほとんど未発見のままです
このデータセットには26,030のマルチモーダル画像テキストペアと6,354の臨床的に困難な症例が含まれている。
LVLMをリードするベンチマーク22は、診断精度、鑑別診断、臨床推論に重大な欠陥を呈する。
論文 参考訳（メタデータ） (2026-03-19T02:25:36Z) - Clinician input steers frontier AI models toward both accurate and harmful decisions [10.599240857217811]
8つのフロンティアモデルにまたがる21の言語モデル (LLM) を, 差分診断生成と次のステップ勧告に基づいて評価した。
専門的な文脈は、21モデル全体にわたる正しい最終診断の包含を著しく改善した。
GPT-4o 実験では, 臨床症状の明確な不確実性信号により, 対側的文脈での診断性能が向上した。
論文 参考訳（メタデータ） (2026-03-14T23:47:53Z) - LiveMedBench: A Contamination-Free Medical Benchmark for LLMs with Automated Rubric Evaluation [22.211535340726073]
LiveMedBenchは、オンライン医療コミュニティからリアルな臨床ケースを抽出する、継続的に更新されたベンチマークである。
LiveMedBenchは、38の専門医と複数の言語にまたがる2,756の現実世界のケースで構成され、16,702のユニークな評価基準と組み合わせている。
大規模な評価では、最高のパフォーマンスモデルでさえ39.2%しか達成せず、84%のモデルがカット後のケースで性能劣化を示す。
論文 参考訳（メタデータ） (2026-02-10T23:38:25Z) - Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。
本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。
本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
論文 参考訳（メタデータ） (2025-10-11T16:24:35Z) - An Agentic System for Rare Disease Diagnosis with Traceable Reasoning [69.46279475491164]
大型言語モデル(LLM)を用いた最初のまれな疾患診断エージェントシステムであるDeepRareを紹介する。
DeepRareは、まれな疾患の診断仮説を分類し、それぞれに透明な推論の連鎖が伴う。
このシステムは2,919の疾患に対して異常な診断性能を示し、1013の疾患に対して100%の精度を達成している。
論文 参考訳（メタデータ） (2025-06-25T13:42:26Z) - Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。
本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。
このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
論文 参考訳（メタデータ） (2025-03-06T18:35:39Z) - SemioLLM: Evaluating Large Language Models for Diagnostic Reasoning from Unstructured Clinical Narratives in Epilepsy [45.2233252981348]
臨床知識を符号化するための言語モデル(LLM)が示されている。
6つの最先端モデルをベンチマークする評価フレームワークであるSemioLLMを提案する。
ほとんどのLSMは、脳内の発作発生領域の確率的予測を正確かつ確実に生成できることを示す。
論文 参考訳（メタデータ） (2024-07-03T11:02:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。