論文の概要: MedEinst: Benchmarking the Einstellung Effect in Medical LLMs through Counterfactual Differential Diagnosis

• arxiv url: http://arxiv.org/abs/2601.06636v1
• Date: Sat, 10 Jan 2026 17:39:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:00.911782
• Title: MedEinst: Benchmarking the Einstellung Effect in Medical LLMs through Counterfactual Differential Diagnosis
• Title（参考訳）: MedEinst: 鑑別診断による医療用LLMの星空効果のベンチマーク
• Abstract要約: MedEinstは,49の疾患に5,383対の臨床症例を比較検討した。 バイアストラップ速度による感受性の測定-正確な診断制御にもかかわらず、誤診断トラップの確率について検討する。
• 参考スコア（独自算出の注目度）: 13.241795322837861
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite achieving high accuracy on medical benchmarks, LLMs exhibit the Einstellung Effect in clinical diagnosis--relying on statistical shortcuts rather than patient-specific evidence, causing misdiagnosis in atypical cases. Existing benchmarks fail to detect this critical failure mode. We introduce MedEinst, a counterfactual benchmark with 5,383 paired clinical cases across 49 diseases. Each pair contains a control case and a "trap" case with altered discriminative evidence that flips the diagnosis. We measure susceptibility via Bias Trap Rate--probability of misdiagnosing traps despite correctly diagnosing controls. Extensive Evaluation of 17 LLMs shows frontier models achieve high baseline accuracy but severe bias trap rates. Thus, we propose ECR-Agent, aligning LLM reasoning with Evidence-Based Medicine standard via two components: (1) Dynamic Causal Inference (DCI) performs structured reasoning through dual-pathway perception, dynamic causal graph reasoning across three levels (association, intervention, counterfactual), and evidence audit for final diagnosis; (2) Critic-Driven Graph and Memory Evolution (CGME) iteratively refines the system by storing validated reasoning paths in an exemplar base and consolidating disease-specific knowledge into evolving illness graphs. Source code is to be released.
• Abstract（参考訳）: 医学ベンチマークの精度が高いにもかかわらず、LSMは臨床診断においてEinstellung効果を示す。 既存のベンチマークは、このクリティカルな障害モードを検出することができません。 MedEinstは,49の疾患に5,383対の臨床症例を比較検討した。 それぞれのペアはコントロールケースと、診断を反転させる差別的証拠を改変した"トラップ"ケースを含んでいる。 バイアストラップ速度による感受性の測定-正確な診断制御にもかかわらず、誤診断トラップの確率について検討する。 17LLMの大規模評価により,フロンティアモデルでは高いベースライン精度が得られたが,重度のバイアストラップレートが得られた。 そこで本稿では,1) 動的因果推論(DCI, Dynamic Causal Inference, Dynamic Causal Graph reasoning, dynamic causal graph reasoning, dynamic causal graph reasoning across three levels (asociation, intervention, counterfactual), and evidence auditing for final diagnosis, (2) Critic-Driven Graph and Memory Evolution (CGME) は, 既往の基盤にある検証された推論経路を保存し, 疾患固有の知識を進化するグラフに集約することにより, システムを反復的に洗練する。 ソースコードはリリースされます。

関連論文リスト

• CDEG: Learning Decision-Critical Evidence for Long-Horizon Diagnostic Agents [21.40725112789917]
  筆者らは,過去の診断軌跡から再利用可能な決定クリティカルな証拠を学習するグラフベースのフレームワークCDEGを紹介する。 我々はCDEGが診断性能を継続的に改善し、バニラ剤よりも11.5%の精度向上を実現していることを示す。
  論文  参考訳（メタデータ） (2026-08-24T07:30:22Z)
• Evaluating Multi-Turn Multimodal Diagnostic Reasoning on Challenging Real-World Clinical Cases [59.5328455571863]
  ClinMM-Benchは、これまでで最大のマルチターンマルチモーダル臨床診断評価ベンチマークである。 実際の患者は1,089件、医療画像は3,760件、専門は8件。 プロプライエタリモデルでは診断精度が最も高かったが、正確な診断の割合は限られていた。
  論文  参考訳（メタデータ） (2026-07-28T16:19:03Z)
• Auditing Evidence Use in Medical LLM Diagnosis [10.934702002803434]
  医療診断に使用される証拠の行動監査について述べる。 各症例について,患者情報をエビデンス単位に分解し,制御されたエビデンスサブセットの下で候補診断を行い,診断マージンにおける低次相互作用をマイニングする。 医学的証拠は診断に関係しているため、監査は相互作用の発見と障害の割り当てを分離する。
  論文  参考訳（メタデータ） (2026-07-23T02:20:15Z)
• Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
  既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。 テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
  論文  参考訳（メタデータ） (2026-06-17T08:10:30Z)
• MAGIS: Evidence-Based Multi-Agent Reasoning for Interpretable Strabismus Clinical Decision-Making [18.234379859242406]
  ストラビスムス(Strabismus)は、個々の治療計画に詳細なサブタイプ診断を必要とする一般的な眼疾患である。 本稿では,Multi-AGent reasoning for Interpretable Strabismus diagnosis frameworkを提案する。
  論文  参考訳（メタデータ） (2026-06-08T09:21:53Z)
• MultiDx: A Multi-Source Knowledge Integration Framework towards Diagnostic Reasoning [66.94527468532843]
  2段階の診断推論フレームワークであるMultiDxを提案する。 まず Web 検索,SOAP 形式の症例,臨床症例データベースから知識を活用することにより,疑わしい診断と推論経路を生成する。 そして、マッチング、投票、および差分診断を通じて、複数のパースペクティブエビデンスを統合し、最終的な予測を生成する。
  論文  参考訳（メタデータ） (2026-04-27T08:46:29Z)
• Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
  大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。 1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。 診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
  論文  参考訳（メタデータ） (2026-04-06T00:23:10Z)
• Clinical Cognition Alignment for Gastrointestinal Diagnosis with Multimodal LLMs [63.535652574541764]
  MLLM(Multimodal Large Language Models)は医用画像解析において顕著な可能性を示した。 消化器内視鏡におけるそれらの応用は、現在、2つの重要な限界によって妨げられている。 本稿では,これらの課題に対処する新しい臨床認知アライメント(CogAlign)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-21T07:47:37Z)
• Mind the Rarities: Can Rare Skin Diseases Be Reliably Diagnosed via Diagnostic Reasoning? [31.103598483020857]
  大規模視覚言語モデル(LVLM)は皮膚学において強い性能を示す。 稀な疾患に対する診断的推論は ほとんど未発見のままです このデータセットには26,030のマルチモーダル画像テキストペアと6,354の臨床的に困難な症例が含まれている。 LVLMをリードするベンチマーク22は、診断精度、鑑別診断、臨床推論に重大な欠陥を呈する。
  論文  参考訳（メタデータ） (2026-03-19T02:25:36Z)
• Guideline-Grounded Evidence Accumulation for High-Stakes Agent Verification [60.18369393468405]
  既存の検証器は通常、ドメイン知識の欠如と限られた校正のために性能が劣る。 GLEANは専門家によって計算されたプロトコルをトラジェクトリインフォームされ、よく校正された正当性信号にコンパイルする。 我々は,MIMIC-IVデータセットから得られた3つの疾患の薬物的臨床診断でGLEANを実証的に検証した。
  論文  参考訳（メタデータ） (2026-03-03T09:36:43Z)
• Toward Guarantees for Clinical Reasoning in Vision Language Models via Formal Verification [12.60121003165514]
  ヴィジュアル言語モデル(VLM)は放射線学レポートの起草において有望であるが、しばしば論理的矛盾に悩まされる。 標準的な語彙測度は、臨床パラフレージングを強く罰し、これらの誘因的障害を捉えるのに失敗する。 本稿では,VLMレポートの内部一貫性を決定的に監査するニューロシンボリック検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-27T15:49:59Z)
• Closing Reasoning Gaps in Clinical Agents with Differential Reasoning Learning [16.144050164828794]
  本稿では, 臨床薬品の理性差を学習し, 臨床薬品の改善を図るためのフレームワークDRLを提案する。 DRLは、有向非巡回グラフ(DAG)として推論グラフを抽出し、臨床重み付きグラフ編集距離(GED)に基づく不一致解析を行う。 推論では、エージェントプロンプトを増強し、可能性のあるロジックギャップをパッチするために、トップ$k$命令を検索します。
  論文  参考訳（メタデータ） (2026-02-10T16:29:32Z)
• Towards Reliable Medical LLMs: Benchmarking and Enhancing Confidence Estimation of Large Language Models in Medical Consultation [97.36081721024728]
  本稿では,現実的な医療相談におけるマルチターンインタラクションの信頼性を評価するための最初のベンチマークを提案する。 本ベンチマークでは,3種類の医療データを統合し,診断を行う。 本稿では,エビデンスを基盤とした言語自己評価フレームワークであるMedConfを紹介する。
  論文  参考訳（メタデータ） (2026-01-22T04:51:39Z)
• MedKGI: Iterative Differential Diagnosis with Medical Knowledge Graphs and Information-Guided Inquiring [39.776843923694244]
  臨床実践を基盤とした診断フレームワークであるMedKGIを提案する。 MedKGI は診断精度と検査効率の両方において強力な LLM ベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2025-12-30T12:31:53Z)
• Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
  大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。 本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。 本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
  論文  参考訳（メタデータ） (2025-10-11T16:24:35Z)
• MedCaseReasoning: Evaluating and learning diagnostic reasoning from clinical case reports [49.00805568780791]
  MedCaseReasoningはLarge Language Models(LLM)を評価するための最初のオープンアクセスデータセットである。 データセットには14,489の診断的質問・回答ケースが含まれており、それぞれに詳細な推論文がペアリングされている。 我々は,MedCaseReasoning上での最先端の推論LPMを評価し,診断と推論に重大な欠点を見出した。
  論文  参考訳（メタデータ） (2025-05-16T22:34:36Z)
• AGIR: Assessing 3D Gait Impairment with Reasoning based on LLMs [0.0]
  歩行障害は、神経変性疾患の早期診断、疾患モニタリング、治療評価において重要な役割を果たす。 近年のディープラーニングベースのアプローチは、分類精度を一貫して改善しているが、解釈可能性に欠けることが多い。 本稿では、事前訓練されたVQ-VAEモーショントークンライザと、一対のモーショントークン上で微調整されたLarge Language Model(LLM)からなる新しいパイプラインであるAGIRを紹介する。
  論文  参考訳（メタデータ） (2025-03-23T17:12:16Z)
• Towards Reducing Diagnostic Errors with Interpretable Risk Prediction [18.474645862061426]
  特定診断のリスクの増大または低下を示す患者EHRデータ中の証拠片をLCMを用いて同定する方法を提案する。 私たちの究極の目標は、証拠へのアクセスを増やし、診断エラーを減らすことです。
  論文  参考訳（メタデータ） (2024-02-15T17:05:48Z)
• Inheritance-guided Hierarchical Assignment for Clinical Automatic Diagnosis [50.15205065710629]
  臨床診断は、臨床ノートに基づいて患者に診断符号を割り当てることを目的としており、臨床意思決定において重要な役割を担っている。 本稿では,臨床自動診断のための継承誘導階層と共起グラフの伝播を組み合わせた新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-01-27T13:16:51Z)
• Towards Causality-Aware Inferring: A Sequential Discriminative Approach for Medical Diagnosis [142.90770786804507]
  医学診断アシスタント(MDA)は、疾患を識別するための症状を逐次調査する対話型診断エージェントを構築することを目的としている。 この研究は、因果図を利用して、MDAにおけるこれらの重要な問題に対処しようとする。 本稿では,他の記録から知識を引き出すことにより,非記録的調査に効果的に答える確率に基づく患者シミュレータを提案する。
  論文  参考訳（メタデータ） (2020-03-14T02:05:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。