論文の概要: Can LLMs Value the Right Evidence? Evidence-Value Misalignment in Dynamic Medical Diagnosis
- arxiv url: http://arxiv.org/abs/2609.35627v1
- Date: Mon, 28 Sep 2026 16:59:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 20:14:51.501462
- Title: Can LLMs Value the Right Evidence? Evidence-Value Misalignment in Dynamic Medical Diagnosis
- Title（参考訳）: LLMは正しいエビデンスを価値とすることができるか? ダイナミック医療診断におけるエビデンス価値の相違
- Abstract要約: 不十分または誤解を招く証拠から到達した正確な診断は、臨床上の危険をもたらす可能性があるが、結果に基づく精度は、そのようなラッキーな推測に報いる可能性がある。
私たちはこの、診断決定と利用可能な証拠の価値のミスマッチを、EVM(Evidence-Value Misalignment)と呼んでいる。
診断精度から独立して明らかな接地を阻害するために,24の疾患システムで1,050の患者を対象とする動的ベンチマーク環境であるMedEVMを導入する。
- 参考スコア（独自算出の注目度）: 22.91367718901174
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A correct diagnosis reached from insufficient or misleading evidence can pose a clinical hazard, yet outcome-based accuracy may reward such lucky guesses. We call this mismatch between diagnostic decisions and the value of available evidence Evidence-Value Misalignment (EVM). To disentangle evidential grounding independently from diagnostic accuracy, we introduce MedEVM, a dynamic benchmarking environment comprising 1,050 cases across 24 disease systems. Observations arrive turn by turn, requiring models to continuously calibrate its decision by deciding whether to wait for more evidence or submit a diagnosis. Across 9 LLMs, four interesting patterns are observed. (1) Miscalibrated evidence tracking. Making a diagnosis often fails to calibrate evidence sufficiency, even in more capable models, and even worsens in reasoning mode. (2) Misaligned diagnosis submission. Confidence in the correct diagnosis often fails to ensure timely submission despite sufficient evidence. (3) Evidence order matters. Reordering the same evidence changes diagnoses even when model confidence remains similar. (4) Misleading evidence remains influential. Added misleading evidence redirects diagnoses even after prior evidence becomes sufficient. We further verify that EVM predicts errors and that preventing premature submission improves accuracy. These findings motivate Evidence-Verified Diagnosis Harness (EVD-Harness). It decouples diagnosis generation from submission through an offline Contrastive Diagnostic Wiki and three online control stages, namely observation management, proposal and witness verification, and diagnosis submission control. Across five LLMs, EVD-Harness improves accuracy by 12.0--51.1 percentage points while mitigating EVM-related failures. Our results demonstrate that verifying evidential support before submission can make diagnostic decisions more reliable.
- Abstract（参考訳）: 不十分または誤解を招く証拠から到達した正確な診断は、臨床上の危険をもたらす可能性があるが、結果に基づく精度は、そのようなラッキーな推測に報いる可能性がある。
EVM(Evidence-Value Misalignment)は、診断判断と有効なエビデンスの価値のミスマッチである。
診断精度から独立して明らかな接地を阻害するために,24の疾患システムで1,050の患者を対象とする動的ベンチマーク環境であるMedEVMを導入する。
観測は順番に行われ、モデルがより多くの証拠を待つか診断を提出するかを判断することで、決定を継続的に調整する必要がある。
9個のLLMで4つの興味深いパターンが観察された。
1) 不正な証拠追跡。
診断を行うことは、より有能なモデルでも、証拠の不十分さを校正するのに失敗し、推論モードではさらに悪化する。
2)誤診届出
正しい診断の信頼性は、十分な証拠があるにもかかわらず、しばしばタイムリーな提出を保証するのに失敗する。
(3) 証拠命令事項
同じ証拠を並べ替えると、モデル信頼性が類似したままでも診断が変わる。
(4)誤認の証拠はいまだに影響力がある。
追加の誤解を招く証拠は、事前の証拠が十分になった後も診断をリダイレクトする。
さらに、EVMがエラーを予測し、早送りを防ぐことで精度が向上することを確認した。
これらの所見はEvidence-Verified diagnosis Harness (EVD-Harness) の動機となっている。
診断生成をオフラインのContrastive Diagnostic Wikiと3つのオンラインコントロールステージ、すなわち観察管理、提案と目撃者検証、診断提出制御を通じて分離する。
5つのLCMでEVD-HarnessはEVM関連の障害を軽減しながら精度を12.0--51.1ポイント向上する。
以上の結果から,提出前の明らかなサポートの検証により,診断の信頼性が向上することが示唆された。
関連論文リスト
- Where Does Retrieval-Based Open-Ended Evaluation Fail? Automatic Taxonomy Induction from Long-Form Medical Answer Factuality Verification [50.168648286292004]
既存のRAG診断では、金の回答や注釈付き金の証拠が必要であり、どちらもこの体制には存在しない。
オープンエンドのMedExpertデータセットと3つのクローズドエンドデータセットに関するケーススタディに基づいた総合的な2つのデータセットを紹介した。
我々は, LLM-as-Judge を用いた自動パターン誘導パイプラインを適用し, 証拠品質をラベル付けし, 大規模な検証器推論誤差を分類する。
論文 参考訳（メタデータ） (2026-09-24T19:04:23Z) - NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Evaluating Multi-Turn Multimodal Diagnostic Reasoning on Challenging Real-World Clinical Cases [59.5328455571863]
ClinMM-Benchは、これまでで最大のマルチターンマルチモーダル臨床診断評価ベンチマークである。
実際の患者は1,089件、医療画像は3,760件、専門は8件。
プロプライエタリモデルでは診断精度が最も高かったが、正確な診断の割合は限られていた。
論文 参考訳（メタデータ） (2026-07-28T16:19:03Z) - Auditing Evidence Use in Medical LLM Diagnosis [10.934702002803434]
医療診断に使用される証拠の行動監査について述べる。
各症例について,患者情報をエビデンス単位に分解し,制御されたエビデンスサブセットの下で候補診断を行い,診断マージンにおける低次相互作用をマイニングする。
医学的証拠は診断に関係しているため、監査は相互作用の発見と障害の割り当てを分離する。
論文 参考訳（メタデータ） (2026-07-23T02:20:15Z) - MAGIS: Evidence-Based Multi-Agent Reasoning for Interpretable Strabismus Clinical Decision-Making [18.234379859242406]
ストラビスムス(Strabismus)は、個々の治療計画に詳細なサブタイプ診断を必要とする一般的な眼疾患である。
本稿では,Multi-AGent reasoning for Interpretable Strabismus diagnosis frameworkを提案する。
論文 参考訳（メタデータ） (2026-06-08T09:21:53Z) - DDX-TRACE: A Benchmark for Medical Diagnostic Trajectories in VLMs [21.52456139726765]
ほとんどの医療AIベンチマークは、関連するコンテキストを事前に明らかにし、最終回答のみをスコア付けする。
MDX-TRACEはマルチモーダル・ニューロラジオロジーのための医師適応型ベンチマークである。
211件の難治性症例に対して、隠れた証拠の下で診断の軌跡を評価する。
論文 参考訳（メタデータ） (2026-05-22T13:41:10Z) - MultiDx: A Multi-Source Knowledge Integration Framework towards Diagnostic Reasoning [66.94527468532843]
2段階の診断推論フレームワークであるMultiDxを提案する。
まず Web 検索,SOAP 形式の症例,臨床症例データベースから知識を活用することにより,疑わしい診断と推論経路を生成する。
そして、マッチング、投票、および差分診断を通じて、複数のパースペクティブエビデンスを統合し、最終的な予測を生成する。
論文 参考訳（メタデータ） (2026-04-27T08:46:29Z) - Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。
1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。
診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
論文 参考訳（メタデータ） (2026-04-06T00:23:10Z) - Guideline-Grounded Evidence Accumulation for High-Stakes Agent Verification [60.18369393468405]
既存の検証器は通常、ドメイン知識の欠如と限られた校正のために性能が劣る。
GLEANは専門家によって計算されたプロトコルをトラジェクトリインフォームされ、よく校正された正当性信号にコンパイルする。
我々は,MIMIC-IVデータセットから得られた3つの疾患の薬物的臨床診断でGLEANを実証的に検証した。
論文 参考訳（メタデータ） (2026-03-03T09:36:43Z) - MedEinst: Benchmarking the Einstellung Effect in Medical LLMs through Counterfactual Differential Diagnosis [13.241795322837861]
MedEinstは,49の疾患に5,383対の臨床症例を比較検討した。
バイアストラップ速度による感受性の測定-正確な診断制御にもかかわらず、誤診断トラップの確率について検討する。
論文 参考訳（メタデータ） (2026-01-10T17:39:25Z) - Towards Reducing Diagnostic Errors with Interpretable Risk Prediction [18.474645862061426]
特定診断のリスクの増大または低下を示す患者EHRデータ中の証拠片をLCMを用いて同定する方法を提案する。
私たちの究極の目標は、証拠へのアクセスを増やし、診断エラーを減らすことです。
論文 参考訳（メタデータ） (2024-02-15T17:05:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。