論文の概要: Clinical Reasoning Graphs: Structured Evaluation of LLM Diagnostic Reasoning Reveals Competence Without Consistency
- arxiv url: http://arxiv.org/abs/2606.29876v1
- Date: Mon, 29 Jun 2026 07:16:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.091034
- Title: Clinical Reasoning Graphs: Structured Evaluation of LLM Diagnostic Reasoning Reveals Competence Without Consistency
- Title（参考訳）: 臨床推論グラフ : LLM診断の一貫性のない能力に関する構造化評価
- Abstract要約: 本稿では,自由テキスト診断トレースから抽出した臨床推論グラフ,構造化グラフ表現について紹介する。
臨床に類似した症例に対して,診断トレースが安定な構造的推論パターン,あるいは診断スキーマを示すか否かを検証した。
臨床に類似した症例では, 臨床に異同のある症例よりも高いグラフ類似性を示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern large language models (LLMs) reach 60-70% diagnostic accuracy on complex clinical case benchmarks, but accuracy alone cannot distinguish stable clinically-grounded reasoning from pattern matching. We introduce clinical reasoning graphs, structured graph representations extracted from free-text LLM diagnostic traces using a domain-grounded ontology with 5 node types and 7 edge types. We apply this pipeline to 750 traces from five LLMs across 50 New England Journal of Medicine Clinicopathological Conference cases and three prompt conditions, and test whether diagnostic traces show stable structured reasoning patterns, or diagnostic schemas, for clinically similar cases. We operationalize this as higher graph similarity among clinically similar cases than among clinically dissimilar ones. Across 15 model-condition comparisons, within-cluster and between-cluster composite similarity are nearly equal, and no comparison survives multiple-testing correction; a component-level analysis finds any residual content signal far below schema scale. Graph similarity is also nearly identical for pairs of models that are both correct (0.488) and both incorrect (0.484), suggesting that graph structure captures a dimension not reflected in diagnostic accuracy. Structured reflection prompting increases explicit discriminating-feature analysis within traces (+33%) but does not increase cross-case consistency. These results show diagnostic competence without schema-scale reasoning consistency, and indicate that final-answer accuracy should be complemented by process-level evaluation. We release the ontology, extraction pipeline, validation protocol, and the extracted reasoning graphs and similarity artifacts as resources for structured evaluation of LLM clinical reasoning.
- Abstract（参考訳）: 現代の大規模言語モデル(LLM)は、複雑な臨床症例のベンチマークで60-70%の精度に達するが、精度だけでは、安定した臨床基礎推論とパターンマッチングを区別することはできない。
本稿では,5つのノードタイプと7つのエッジタイプを持つドメイングラウンドオントロジーを用いて,自由テキストLPM診断トレースから抽出した臨床推論グラフ,構造化グラフ表現を紹介する。
このパイプラインを,50 New England Journal of Medicine Clinicalopathological Conferenceの5例および3例の急速経過例から750例に適用し,臨床に類似した症例に対して,安定な構造的推論パターンまたは診断スキーマを示すかどうかを検証した。
臨床に類似した症例では, 臨床に異同のある症例よりも高いグラフ類似性を示した。
15のモデル条件比較、クラスタ内およびクラスタ間合成の類似性はほぼ同じであり、比較は多重テストの補正に留まらない。
グラフの類似性は、正(0.488)と誤(0.484)の両方のモデルに対してほぼ同一であり、グラフ構造が診断精度に反映されない次元を捉えることを示唆している。
構造的リフレクションは、トレース(+33%)内の明示的な識別・機能解析を増加させるが、ケース間の一貫性は向上しない。
これらの結果は、スキーマスケールの推論整合性のない診断能力を示し、最終回答精度はプロセスレベルの評価によって補完されるべきであることを示す。
LLM臨床推論の構造化評価のための資料として,オントロジー,抽出パイプライン,検証プロトコル,抽出された推論グラフおよび類似性アーティファクトを公開する。
関連論文リスト
- Evaluating Multi-Turn Multimodal Diagnostic Reasoning on Challenging Real-World Clinical Cases [59.5328455571863]
ClinMM-Benchは、これまでで最大のマルチターンマルチモーダル臨床診断評価ベンチマークである。
実際の患者は1,089件、医療画像は3,760件、専門は8件。
プロプライエタリモデルでは診断精度が最も高かったが、正確な診断の割合は限られていた。
論文 参考訳（メタデータ） (2026-07-28T16:19:03Z) - From Pixels to Explanations: Interpretable Diabetic Retinopathy Grading with CNN-Transformer Ensembles, Visual Explainability and Vision-Language Models [7.782282985072339]
本研究では,強い識別モデルとマルチモーダルな説明を組み合わせた方法論を提案する。
そこで我々はGrad-CAM++の視覚属性マップと短いテキスト論理式を作成した。
説明の質のために、Grad-CAM++は可塑性だが粗いローカライゼーションを提供し、VLMの合理性は概してグレード一貫性がある。
論文 参考訳（メタデータ） (2026-04-25T00:21:11Z) - Eligibility-Aware Evidence Synthesis: An Agentic Framework for Clinical Trial Meta-Analysis [49.83108591873481]
EligMetaはエージェントフレームワークで、自動トライアル発見と、資格を意識したメタ分析を統合する。
フレームワークは、目標トライアル間の人口アライメントを反映した類似性に基づく研究重量を計算し、適性基準を構造化する。
論文 参考訳（メタデータ） (2026-04-03T03:18:50Z) - Clinical Cognition Alignment for Gastrointestinal Diagnosis with Multimodal LLMs [63.535652574541764]
MLLM(Multimodal Large Language Models)は医用画像解析において顕著な可能性を示した。
消化器内視鏡におけるそれらの応用は、現在、2つの重要な限界によって妨げられている。
本稿では,これらの課題に対処する新しい臨床認知アライメント(CogAlign)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-21T07:47:37Z) - Mind the Rarities: Can Rare Skin Diseases Be Reliably Diagnosed via Diagnostic Reasoning? [31.103598483020857]
大規模視覚言語モデル(LVLM)は皮膚学において強い性能を示す。
稀な疾患に対する診断的推論は ほとんど未発見のままです
このデータセットには26,030のマルチモーダル画像テキストペアと6,354の臨床的に困難な症例が含まれている。
LVLMをリードするベンチマーク22は、診断精度、鑑別診断、臨床推論に重大な欠陥を呈する。
論文 参考訳（メタデータ） (2026-03-19T02:25:36Z) - Modeling Expert AI Diagnostic Alignment via Immutable Inference Snapshots [1.0499611180329804]
初期モデル推論と専門家補正の遷移は、構造化信号としてはほとんど分析されない。
本稿では,AI生成画像に基づくレポートを不変な推論状態として保存する診断アライメントフレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-26T13:11:58Z) - AgentsEval: Clinically Faithful Evaluation of Medical Imaging Reports via Multi-Agent Reasoning [73.50200033931148]
本稿では,放射線科医の協調診断ワークフローをエミュレートしたマルチエージェントストリーム推論フレームワークであるAgensEvalを紹介する。
評価プロセスを基準定義、エビデンス抽出、アライメント、一貫性スコアなどの解釈可能なステップに分割することで、AgensEvalは明確な推論トレースと構造化された臨床フィードバックを提供する。
実験結果から,AgensEvalは,言い換え,意味的,スタイリスティックな摂動の下でも頑健な臨床的整合性,意味的忠実性,解釈可能な評価を提供することが示された。
論文 参考訳（メタデータ） (2026-01-23T11:59:13Z) - MedEinst: Benchmarking the Einstellung Effect in Medical LLMs through Counterfactual Differential Diagnosis [13.241795322837861]
MedEinstは,49の疾患に5,383対の臨床症例を比較検討した。
バイアストラップ速度による感受性の測定-正確な診断制御にもかかわらず、誤診断トラップの確率について検討する。
論文 参考訳（メタデータ） (2026-01-10T17:39:25Z) - MIRNet: Integrating Constrained Graph-Based Reasoning with Pre-training for Diagnostic Medical Imaging [67.74482877175797]
MIRNetは、自己教師付き事前学習と制約付きグラフベースの推論を統合する新しいフレームワークである。
TongueAtlas-4Kは,22の診断ラベルを付した4,000枚の画像からなるベンチマークである。
論文 参考訳（メタデータ） (2025-11-13T06:30:41Z) - Evolving Diagnostic Agents in a Virtual Clinical Environment [75.59389103511559]
本稿では,大規模言語モデル(LLM)を強化学習を用いた診断エージェントとして訓練するためのフレームワークを提案する。
本手法は対話型探索と結果に基づくフィードバックによって診断戦略を取得する。
DiagAgentはDeepSeek-v3やGPT-4oなど、最先端の10のLLMを著しく上回っている。
論文 参考訳（メタデータ） (2025-10-28T17:19:47Z) - Dynamic Graph Correlation Learning for Disease Diagnosis with Incomplete
Labels [66.57101219176275]
胸部X線画像上の疾患診断は,多ラベル分類の課題である。
本稿では,異なる疾患間の相互依存を調査する新たな視点を提示する病的診断グラフ畳み込みネットワーク(DD-GCN)を提案する。
本手法は,相関学習のための動的隣接行列を用いた特徴写像上のグラフを初めて構築する手法である。
論文 参考訳（メタデータ） (2020-02-26T17:10:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。