論文の概要: Can LLMs Follow Medical Expert Logic? A Benchmark for Hierarchical Logical Consistency in Risk-of-Bias Assessment
- arxiv url: http://arxiv.org/abs/2609.11185v1
- Date: Thu, 10 Sep 2026 07:46:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.245031
- Title: Can LLMs Follow Medical Expert Logic? A Benchmark for Hierarchical Logical Consistency in Risk-of-Bias Assessment
- Title（参考訳）: LLMs Follow Medical Expert Logic? : リスク・オブ・バイアス評価における階層論理的一貫性のベンチマーク
- Abstract要約: 我々は、Cochrane Risk of Bias (RoB) 2.0のエキスパートロジックに基づくベンチマークであるLogiMed-RoBを紹介する。
階層論理一貫性フレームワークの下でモデルを4次元にわたって評価する。
最先端のLLM10の実験では、破滅的なエラー複合効果が示される。
- 参考スコア（独自算出の注目度）: 6.781586922950944
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evidence-based medicine demands strict logical consistency, yet current evaluations of large language models (LLMs) prioritize superficial label matching over genuine reasoning. We introduce LogiMed-RoB, a benchmark grounded in Cochrane Risk of Bias (RoB) 2.0 expert logic, comprising 860 randomized controlled trials (RCTs) and 14,820 queries. It evaluates models under the Hierarchical Logical Consistency (HLC) framework across four dimensions: Atomic Consistency, Domain Consistency, Aggregation Consistency, and Evidential Faithfulness. Experiments on 10 state-of-the-art LLMs reveal a catastrophic Error Compounding Effect: despite the top model reaching 98.88% Atomic Consistency, its end-to-end consistency collapses to 45.13%, with several open-weight architectures plummeting to nearly 0%. We further uncover a systematic evidence-reasoning gap: even when models retrieve high-quality evidence, they fail to deduce correct outcomes in 18.63-40.05% of cases, while Blind Guess Rates reach 48.28%. LogiMed-RoB demonstrates that high outcome accuracy can conceal critical reasoning flaws, underscoring the necessity of white-box logical verification for clinical deployment.
- Abstract（参考訳）: 証拠に基づく医学は厳密な論理的整合性を要求するが、大規模言語モデル(LLM)の現在の評価は、真の推論よりも表面的ラベルマッチングを優先している。
我々は,Cochrane Risk of Bias (RoB) 2.0のエキスパートロジックをベースとしたベンチマークであるLogiMed-RoBを紹介した。
階層論理一貫性(HLC)フレームワークの下で、アトミック一貫性(Atomic Consistency)、ドメイン一貫性(Domain Consistency)、アグリゲーション一貫性(Aggregation Consistency)、エビデンシャル忠実性(Evidential Faithfulness)の4つの次元でモデルを評価する。
トップモデルは98.88%の原子一貫性に達したが、エンドツーエンドの一貫性は45.13%に崩壊し、いくつかのオープンウェイトアーキテクチャは0%近くに低下した。
モデルが高品質な証拠を回収しても、18.63-40.05%のケースで正しい結果を導き出せず、Blind Guess Ratesは48.28%に達する。
LogiMed-RoBは、高い結果精度が致命的な理由の欠陥を隠蔽し、臨床展開のためのホワイトボックス論理的検証の必要性を強調している。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Enhancing Brain MRI Anomaly Detection and Reasoning with ROI Rethink and Synthetic Data [9.98520042320808]
脳MRI診断に明示的な領域マーキングを導入したBrReMarkを提案する。
モデルはまず、潜在的な異常についての仮説を生成し、明示的な境界ボックスマーキングを通じてそれらをグラウンド化する。
我々は,ドメインランダム化に基づく病理合成の強化戦略を統合し,OEDデータに対するモデルの一般化性を向上させる。
論文 参考訳（メタデータ） (2026-06-24T14:41:27Z) - ChaosBench-Logic v2: Evaluating LLM Logical Reasoning over Dynamical Systems at Scale [0.0]
我々は165の力学系に対する40,886の探索ベンチマークであるChaosBench-Logic v2を提案する。
我々は、フロンティアモデルでさえ、政権移行推論がほぼランダムに残っていることを発見した。
ファミリーごとの分解は、プロプライエタリモデルの利点がクロス指標と一貫性タスクに集中していることを示しています。
論文 参考訳（メタデータ） (2026-05-23T00:34:17Z) - Eligibility-Aware Evidence Synthesis: An Agentic Framework for Clinical Trial Meta-Analysis [49.83108591873481]
EligMetaはエージェントフレームワークで、自動トライアル発見と、資格を意識したメタ分析を統合する。
フレームワークは、目標トライアル間の人口アライメントを反映した類似性に基づく研究重量を計算し、適性基準を構造化する。
論文 参考訳（メタデータ） (2026-04-03T03:18:50Z) - PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。
我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。
LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
論文 参考訳（メタデータ） (2026-03-02T00:50:39Z) - CausalT5K: Diagnosing and Informing Refusal for Trustworthy Causal Reasoning of Skepticism, Sycophancy, Detection-Correction, and Rung Collapse [1.4608214000864057]
CausalT5Kは10ドメインにわたる5000以上のケースの診断ベンチマークである。
合成ベンチマークとは異なり、CausalT5Kはリアルな物語に因果トラップを埋め込んでいる。
予備的な実験では、静的監査ポリシーが普遍的に失敗する4段階のコントロールランドスケープが示される。
論文 参考訳（メタデータ） (2026-02-09T17:36:56Z) - MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。
6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。
結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
論文 参考訳（メタデータ） (2025-08-22T08:38:16Z) - Mitigating Hallucinations in Large Language Models via Causal Reasoning [16.830640147232295]
大規模言語モデル(LLM)は論理的に矛盾した幻覚を示し、一貫性があるように見えるが、理性原理に反する。
我々は因果DAG構築と推論(CDCR-SFT)を紹介する。
CDCR-SFT は LLM を訓練し、変数レベル指向非巡回グラフ (DAG) を明示的に構築し、その上で推論を行う。
論文 参考訳（メタデータ） (2025-08-17T20:51:06Z) - ReasonMed: A 370K Multi-Agent Generated Dataset for Advancing Medical Reasoning [54.30630356786752]
ReasonMedは、これまでで最大の医療推論データセットで、370万の高品質な例がある。
マルチエージェント生成、検証、改善プロセスを通じて構築される。
ReasonMedを用いて、簡潔な答えの要約と詳細なCoT推論を統合することで、最も堅牢な微調整結果が得られる。
論文 参考訳（メタデータ） (2025-06-11T08:36:55Z) - Benchmarking Chinese Medical LLMs: A Medbench-based Analysis of Performance Gaps and Hierarchical Optimization Strategies [11.0505830548286]
本研究は,MedBench上の上位10モデルの系統的解析を通じて,粒度の誤差分類を導入する。
10つの主要なモデルの評価は、医療知識のリコールにおいて0.86の精度を達成したにもかかわらず、脆弱性を明らかにしている。
知識境界法と多段階推論の体系的弱点を明らかにする。
論文 参考訳（メタデータ） (2025-03-10T13:28:25Z) - Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。
本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。
このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
論文 参考訳（メタデータ） (2025-03-06T18:35:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。