Fugu-MT 論文翻訳(概要): SUP-MIMIC: A Multi-Task Clinical Diagnosis Benchmark for Evaluating LLMs' Robustness to Contradictory Evidence

論文の概要: SUP-MIMIC: A Multi-Task Clinical Diagnosis Benchmark for Evaluating LLMs' Robustness to Contradictory Evidence

arxiv url: http://arxiv.org/abs/2608.29582v1
Date: Sun, 30 Aug 2026 05:59:47 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:31.012203
Title: SUP-MIMIC: A Multi-Task Clinical Diagnosis Benchmark for Evaluating LLMs' Robustness to Contradictory Evidence
Title（参考訳）: SUP-MIMIC : コントラクショナルエビデンスに対するLCMのロバスト性評価のためのマルチタスク臨床診断ベンチマーク
Abstract要約: 既存のベンチマークでは、大きな言語モデルが診断の曖昧さのシナリオに必要な推論能力を持っているかどうかを判断できない。 MIMIC-IV-v3.1を利用したマルチタスクフレームワークSUP-MIMICを提案する。
参考スコア（独自算出の注目度）: 27.184935350216715
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Current evaluations of large language models (LLMs) primarily focus on factual knowledge retrieval, overlooking the fundamental challenge of navigating the complex, non-bijective mappings between clinical indicators and diagnoses. Existing benchmarks fail to assess whether large language models truly possess the reasoning capability required for diagnostic ambiguity scenarios, where identical clinical presentations may correspond to different etiologies, and diagnostic convergence scenarios, where heterogeneous symptoms ultimately indicate the same disease. To address this issue, we propose SUP-MIMIC, a multi-task framework utilizing MIMIC-IV-v3.1 that comprises Basic Assessment (BA), Diagnostic Divergence Task (DDT), and Diagnostic Convergence Task (DCT). Specifically, DDT is designed to evaluate the model's "one-to-many" disambiguation capability among phenotypically similar cases, while DCT assesses the model's ability to identify "many-to-one" diagnostic patterns across different pathophysiological pathways. Comprehensive evaluation of state-of-the-art LLMs reveals substantial performance degradation on DDT and DCT compared to baseline tasks, exposing a systemic reliance on statistical shortcuts over genuine causal reasoning. Our findings further highlight a conservative bias toward "healthy" predictions, implying non-trivial risks for missed diagnoses in realistic medical settings. This work establishes a rigorous methodology for quantifying clinical reasoning robustness and provides a roadmap for enhancing the safety of language models in clinical medicine.
Abstract（参考訳）: 大規模言語モデル(LLM)の現在の評価は、主に、臨床指標と診断の間の複雑な非客観的マッピングをナビゲートする根本的な課題を見越して、事実知識の検索に焦点を当てている。既存のベンチマークでは、大きな言語モデルが診断のあいまいさのシナリオに必要な推論能力を持っているかどうかを判断できない。この問題に対処するため,MIMIC-IV-v3.1を用いたマルチタスクフレームワークSUP-MIMICを提案する。具体的には、DDTは、表現型的に類似したケースでモデルの"one-to-many"の曖昧さを評価するために設計され、DCTは、異なる病態の経路で"many-to-one"の診断パターンを識別するモデルの能力を評価する。最新のLCMの包括的評価では,DDTとDCTの性能低下がベースラインタスクと比較して顕著であり,真の因果推論に対する統計的ショートカットの体系的依存が明らかにされている。以上の結果から「健康」予測に対する保守的な偏見が浮き彫りになり,現実的な医療環境での誤診の危険性が示唆された。本研究は,臨床推論の堅牢性を定量化する厳密な方法論を確立し,臨床医学における言語モデルの安全性を高めるためのロードマップを提供する。

関連論文リスト

MTDiag: A Multi-Turn Diagnostic Dataset Towards Clinically Meaningful LLM Evaluation [39.83005700511833]
MTDiagは3つの異種源から構築された大規模マルチターン診断対話データセットである。我々は,このスキーマ,UserLM-8Bに基づく発話生成パイプライン,および構造化された臨床証拠を自然言語の発話に変換する医師検証データセットをリリースする。
論文参考訳（メタデータ） (2026-08-25T19:27:10Z)
MedReaMM: Evaluating Large Multimodal Models on Expert-Level Clinical Diagnostic Synthesis [61.266743965495884]
異種臨床証拠を合成するモデルの能力を評価するためのベンチマークであるMedReaMMを紹介する。 MedReaMMは625の専門患者と、平均2.79の医療画像と、ICD-11コードで注釈付けされた1,042の標準診断を含む。 23大マルチモーダルモデル (LMM) を評価し, 診断精度が50%未満であることが確認された。
論文参考訳（メタデータ） (2026-08-23T09:37:53Z)
Evaluating Multi-Turn Multimodal Diagnostic Reasoning on Challenging Real-World Clinical Cases [59.5328455571863]
ClinMM-Benchは、これまでで最大のマルチターンマルチモーダル臨床診断評価ベンチマークである。実際の患者は1,089件、医療画像は3,760件、専門は8件。プロプライエタリモデルでは診断精度が最も高かったが、正確な診断の割合は限られていた。
論文参考訳（メタデータ） (2026-07-28T16:19:03Z)
Dementia Etiology Diagnosis via Collaborative Meta Knowledge Enhancement [81.27196033392559]
認知症発症診断のための協調的メタ知識向上(COME)フレームワークを提案する。 COMEは、マルチセンタ取得セマンティクス、ソース識別子、モダリティインジケータを異種性を認識した埋め込みとして、スケールアップトレーニングのためにTransformerアーキテクチャに注入する。本手法は,平均マクロ平均AUCが85.62%,最強ベースラインが4.29ポイント向上し,最先端のドメイン性能を実現する。
論文参考訳（メタデータ） (2026-07-24T04:26:47Z)
Clinical Cognition Alignment for Gastrointestinal Diagnosis with Multimodal LLMs [63.535652574541764]
MLLM(Multimodal Large Language Models)は医用画像解析において顕著な可能性を示した。消化器内視鏡におけるそれらの応用は、現在、2つの重要な限界によって妨げられている。本稿では,これらの課題に対処する新しい臨床認知アライメント(CogAlign)フレームワークを提案する。
論文参考訳（メタデータ） (2026-03-21T07:47:37Z)
Mind the Rarities: Can Rare Skin Diseases Be Reliably Diagnosed via Diagnostic Reasoning? [31.103598483020857]
大規模視覚言語モデル(LVLM)は皮膚学において強い性能を示す。稀な疾患に対する診断的推論はほとんど未発見のままですこのデータセットには26,030のマルチモーダル画像テキストペアと6,354の臨床的に困難な症例が含まれている。 LVLMをリードするベンチマーク22は、診断精度、鑑別診断、臨床推論に重大な欠陥を呈する。
論文参考訳（メタデータ） (2026-03-19T02:25:36Z)
Chain-of-Thought Reasoning with Large Language Models for Clinical Alzheimer's Disease Assessment and Diagnosis [5.934813916147763]
アルツハイマー病(AD)は世界中の神経変性疾患となっている。大規模言語モデル (LLM) は電子的健康記録を用いて医療分野に適用されつつある。本研究は,患者の臨床用ERHを考慮し,LCMを用いてCoT(Chain-of-Thought)を実行することを提案する。
論文参考訳（メタデータ） (2026-02-15T03:56:24Z)
AgentsEval: Clinically Faithful Evaluation of Medical Imaging Reports via Multi-Agent Reasoning [73.50200033931148]
本稿では,放射線科医の協調診断ワークフローをエミュレートしたマルチエージェントストリーム推論フレームワークであるAgensEvalを紹介する。評価プロセスを基準定義、エビデンス抽出、アライメント、一貫性スコアなどの解釈可能なステップに分割することで、AgensEvalは明確な推論トレースと構造化された臨床フィードバックを提供する。実験結果から,AgensEvalは,言い換え,意味的,スタイリスティックな摂動の下でも頑健な臨床的整合性,意味的忠実性,解釈可能な評価を提供することが示された。
論文参考訳（メタデータ） (2026-01-23T11:59:13Z)
Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
論文参考訳（メタデータ） (2025-10-11T16:24:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。