論文の概要: Auditing Evidence Use in Medical LLM Diagnosis
- arxiv url: http://arxiv.org/abs/2607.20848v1
- Date: Thu, 23 Jul 2026 02:20:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.260258
- Title: Auditing Evidence Use in Medical LLM Diagnosis
- Title(参考訳): 医療用LDM診断における監査用エビデンスの使用経験
- Abstract要約: 医療診断に使用される証拠の行動監査について述べる。
各症例について,患者情報をエビデンス単位に分解し,制御されたエビデンスサブセットの下で候補診断を行い,診断マージンにおける低次相互作用をマイニングする。
医学的証拠は診断に関係しているため、監査は相互作用の発見と障害の割り当てを分離する。
- 参考スコア(独自算出の注目度): 10.934702002803434
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Medical LLMs are often evaluated by whether they select the correct diagnosis, but diagnostic accuracy alone does not show whether the model used the case evidence appropriately. We present a behavioral audit of evidence use in medical diagnosis. For each case, we decompose patient information into evidence units, score candidate diagnoses under controlled evidence subsets, and mine low-order interactions in diagnostic margins. Because medical evidence is diagnosis-relative, the audit separates interaction discovery from failure assignment: large or negative interactions can reflect plausible differential diagnosis, while suspicious interactions require robustness checks and clinical review. We evaluate five open-weight LLMs on DDXPlus, CupCase, and MedCase. Across datasets, faithful support and differential conflict or cancellation account for most interaction strength, showing that many evidence interactions are clinically plausible rather than failures. In a DDXPlus-focused blinded five-reviewer 130-item enriched review sample, invalid or shortcut-like cases concentrate in negated or absent findings and clinically local evidence. These results show that accuracy can hide candidate evidence-use failures and motivate role-aware audits for medical LLM evaluation.
- Abstract(参考訳): 医学的LCMは、正しい診断を選択するかどうかによって評価されることが多いが、診断精度だけでは、モデルが適切なケースエビデンスを使用したかどうかは示さない。
医療診断に使用される証拠の行動監査について述べる。
各症例について,患者情報をエビデンス単位に分解し,制御されたエビデンスサブセットの下で候補診断を行い,診断マージンにおける低次相互作用をマイニングする。
医学的証拠は診断に関連しているため、監査は、相互作用発見と障害の割り当てを区別する。大きなまたは負の相互作用は、可視的な鑑別診断を反映しうるが、不審な相互作用は堅牢性検査と臨床検査を必要とする。
DDXPlus, CupCase, MedCaseの5つのオープンウェイトLCMを評価した。
データセット全体、忠実なサポート、差分競合やキャンセルは、ほとんどの相互作用の強度を考慮に入れており、多くの証拠相互作用が失敗よりも臨床的に妥当であることを示している。
DDXPlusに焦点をあてた5-reviewer 130-item Enriched Reviewサンプルでは、無効またはショートカットのような症例は、否定的または欠落した所見と臨床的に局所的な証拠に集中していた。
以上の結果から, 医療用LCM評価において, 候補となるエビデンス・ユース・失敗を隠蔽し, ロール・アウェア・監査を動機付ける可能性が示唆された。
関連論文リスト
- EviDx: Evidence-Aware Active Diagnosis with Scaffolded LLM Agents [13.21048121687754]
我々はエビデンスを意識したアクティブ診断フレームワークであるEviDxを紹介する。
患者固有の診断環境と、臨床診断の足場と、観察者向けランタイムハーネスを組み合わせます。
EviDxは、モデルに依存した機能境界を明らかにしながら、診断性能とプロセス安定性を改善する。
論文 参考訳(メタデータ) (2026-08-25T13:54:30Z) - CDEG: Learning Decision-Critical Evidence for Long-Horizon Diagnostic Agents [21.40725112789917]
筆者らは,過去の診断軌跡から再利用可能な決定クリティカルな証拠を学習するグラフベースのフレームワークCDEGを紹介する。
我々はCDEGが診断性能を継続的に改善し、バニラ剤よりも11.5%の精度向上を実現していることを示す。
論文 参考訳(メタデータ) (2026-08-24T07:30:22Z) - MedReaMM: Evaluating Large Multimodal Models on Expert-Level Clinical Diagnostic Synthesis [61.266743965495884]
異種臨床証拠を合成するモデルの能力を評価するためのベンチマークであるMedReaMMを紹介する。
MedReaMMは625の専門患者と、平均2.79の医療画像と、ICD-11コードで注釈付けされた1,042の標準診断を含む。
23大マルチモーダルモデル (LMM) を評価し, 診断精度が50%未満であることが確認された。
論文 参考訳(メタデータ) (2026-08-23T09:37:53Z) - Evaluating Multi-Turn Multimodal Diagnostic Reasoning on Challenging Real-World Clinical Cases [59.5328455571863]
ClinMM-Benchは、これまでで最大のマルチターンマルチモーダル臨床診断評価ベンチマークである。
実際の患者は1,089件、医療画像は3,760件、専門は8件。
プロプライエタリモデルでは診断精度が最も高かったが、正確な診断の割合は限られていた。
論文 参考訳(メタデータ) (2026-07-28T16:19:03Z) - DDX-TRACE: A Benchmark for Medical Diagnostic Trajectories in VLMs [21.52456139726765]
ほとんどの医療AIベンチマークは、関連するコンテキストを事前に明らかにし、最終回答のみをスコア付けする。
MDX-TRACEはマルチモーダル・ニューロラジオロジーのための医師適応型ベンチマークである。
211件の難治性症例に対して、隠れた証拠の下で診断の軌跡を評価する。
論文 参考訳(メタデータ) (2026-05-22T13:41:10Z) - MultiDx: A Multi-Source Knowledge Integration Framework towards Diagnostic Reasoning [66.94527468532843]
2段階の診断推論フレームワークであるMultiDxを提案する。
まず Web 検索,SOAP 形式の症例,臨床症例データベースから知識を活用することにより,疑わしい診断と推論経路を生成する。
そして、マッチング、投票、および差分診断を通じて、複数のパースペクティブエビデンスを統合し、最終的な予測を生成する。
論文 参考訳(メタデータ) (2026-04-27T08:46:29Z) - Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。
1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。
診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
論文 参考訳(メタデータ) (2026-04-06T00:23:10Z) - Improving Clinical Diagnosis with Counterfactual Multi-Agent Reasoning [16.709358805587506]
臨床診断は、臨床医が証拠を集め、仮説を定め、代替的な説明に対してそれらをテストする複雑な推論プロセスである。
本稿では, 仮説テストの明確化とエビデンス・グラウンド化を図った臨床研修に触発された, 対物的マルチエージェント診断フレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-29T19:14:26Z) - MedEinst: Benchmarking the Einstellung Effect in Medical LLMs through Counterfactual Differential Diagnosis [13.241795322837861]
MedEinstは,49の疾患に5,383対の臨床症例を比較検討した。
バイアストラップ速度による感受性の測定-正確な診断制御にもかかわらず、誤診断トラップの確率について検討する。
論文 参考訳(メタデータ) (2026-01-10T17:39:25Z) - ClinDEF: A Dynamic Evaluation Framework for Large Language Models in Clinical Reasoning [58.01333341218153]
ClinDEF(ClinDEF)は, LLMにおける臨床推論をシミュレートされた診断対話を用いて評価する動的フレームワークである。
本手法は, 患者を発症し, LLMをベースとした医師と自動患者エージェントとのマルチターンインタラクションを容易にする。
実験により、ClinDEFは最先端のLSMにおいて重要な臨床推論ギャップを効果的に露呈することが示された。
論文 参考訳(メタデータ) (2025-12-29T12:58:58Z) - Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。
本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。
本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
論文 参考訳(メタデータ) (2025-10-11T16:24:35Z) - MedCaseReasoning: Evaluating and learning diagnostic reasoning from clinical case reports [49.00805568780791]
MedCaseReasoningはLarge Language Models(LLM)を評価するための最初のオープンアクセスデータセットである。
データセットには14,489の診断的質問・回答ケースが含まれており、それぞれに詳細な推論文がペアリングされている。
我々は,MedCaseReasoning上での最先端の推論LPMを評価し,診断と推論に重大な欠点を見出した。
論文 参考訳(メタデータ) (2025-05-16T22:34:36Z) - Towards Reducing Diagnostic Errors with Interpretable Risk Prediction [18.474645862061426]
特定診断のリスクの増大または低下を示す患者EHRデータ中の証拠片をLCMを用いて同定する方法を提案する。
私たちの究極の目標は、証拠へのアクセスを増やし、診断エラーを減らすことです。
論文 参考訳(メタデータ) (2024-02-15T17:05:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。