論文の概要: Large language models show systematic failures in incorporating evolving medical knowledge

• arxiv url: http://arxiv.org/abs/2610.30631v1
• Date: Thu, 22 Oct 2026 02:53:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.193817
• Title: Large language models show systematic failures in incorporating evolving medical knowledge
• Title（参考訳）: 大規模言語モデルは、進化する医療知識を取り入れた体系的な失敗を示す
• Abstract要約: 12種類の医療知識変化にまたがって1,709回の推奨レベルの改訂を含むクロノエボについて紹介する。 プライマリモデルでは、90.8%の回答が修正を認め、80.2%が臨床的に正しいが、完全に組み込まれたガイダンスは58.5%に過ぎなかった。 推奨力の変化と患者の適性の変化は、時代遅れの指導の維持に関連していた。
• 参考スコア（独自算出の注目度）: 19.488577718937954
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Medical knowledge evolves as clinical guidelines revise recommendations, yet whether large language models (LLMs) faithfully incorporate such changes remains unclear. We introduce ChronoEvo, comprising 1,709 recommendation-level revisions across 12 forms of medical knowledge change, to distinguish recognition of revised guidance from incorporation into clinical recommendations. In the primary model, 90.8% of responses recognized revisions and 80.2% were clinically correct, but only 58.5% fully incorporated guidance, yielding a 32.3-percentage-point recognition-incorporation gap. This dissociation persisted across 14 models and was corroborated by two clinicians' adjudicated assessment of 300 responses, yielding a 40.3-percentage-point gap in the validation sample. Changes in recommendation strength and patient eligibility were associated with retention of outdated guidance. A revision-salience intervention reduced outdated-content retention and improved clinical correctness but did not significantly improve full incorporation. These findings identify faithful incorporation of evolving medical knowledge as a distinct challenge for clinical LLM reliability, even when updated guideline evidence is available.
• Abstract（参考訳）: 医学的知識は、臨床ガイドラインが勧告を改訂するにつれて進化するが、大きな言語モデル(LLM)がそのような変化を忠実に取り入れているかどうかは不明のままである。 12種類の医療知識変化にまたがるレコメンデーションレベル1,709のリコメンデーションを含むChronoEvoを導入し,臨床レコメンデーションへの導入から,改訂ガイダンスの認識を区別した。 プライマリモデルでは、90.8%の回答が修正され、80.2%が臨床的に正しいが、58.5%のガイダンスが完全に組み込まれており、32.3パーセントの認識-組み込みギャップが生じる。 この解離は14モデルにまたがって持続し、2人の臨床医が300件の回答を補助的に評価し、検証サンプルの40.3ポイントの差が得られた。 推奨力の変化と患者の適性の変化は、時代遅れの指導の維持に関連していた。 リビジョン・サリエンス介入は, 陳腐化コンテンツ保持を減らし, 臨床正当性も改善したが, 完全導入は改善しなかった。 これらの知見は, 新たなガイドラインが得られた場合でも, 医学的知識の充実が臨床 LLM 信頼性の明確な課題であることを示している。

関連論文リスト

• ResidencyRL: Reinforcement Learning in Simulated Clinical Environments [53.76751756107077]
  臨床人工知能(AI)エージェントを模擬多ターン臨床で訓練するための強化学習(RL)手法であるResidencyRLを提案する。 ホールドアウト評価では、ResidencyRLエージェントは、対向条件下で診断精度を7.0%向上させる。 盲目の専門医はこれらの利得を検証し、訓練されたエージェントをサイドバイサイド比較の87.6%で好んだ。
  論文  参考訳（メタデータ） (2026-08-07T17:04:41Z)
• CLExEval: A Human-in-the-Loop Framework for Qualitative Evaluation of LLM Clinical Reasoning [37.91882261875461]
  大規模言語モデル (LLMs) は多くの医学ベンチマークにおいて強い結果が得られたが, 臨床的理由を確実に評価することは困難である。 プログレッシブな情報マスキング下でのLCM臨床推論を評価するための人為的ループ・フレームワークであるCLExEvalを紹介した。
  論文  参考訳（メタデータ） (2026-06-30T12:56:42Z)
• Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
  大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。 1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。 診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
  論文  参考訳（メタデータ） (2026-04-06T00:23:10Z)
• A Decade-Scale Benchmark Evaluating LLMs' Clinical Practice Guidelines Detection and Adherence in Multi-turn Conversations [60.2076951536797]
  大規模言語モデル(LLM)は、医療シナリオにますます多くデプロイされている。 LLMが会話中に臨床ガイドラインを特定・遵守できるのかは不明確である。 CPGBenchは、LSMの臨床ガイドラインの検出と付着能力をベンチマークする自動フレームワークである。
  論文  参考訳（メタデータ） (2026-03-26T09:00:55Z)
• Clinician input steers frontier AI models toward both accurate and harmful decisions [10.599240857217811]
  8つのフロンティアモデルにまたがる21の言語モデル (LLM) を, 差分診断生成と次のステップ勧告に基づいて評価した。 専門的な文脈は、21モデル全体にわたる正しい最終診断の包含を著しく改善した。 GPT-4o 実験では, 臨床症状の明確な不確実性信号により, 対側的文脈での診断性能が向上した。
  論文  参考訳（メタデータ） (2026-03-14T23:47:53Z)
• Emulating Clinician Cognition via Self-Evolving Deep Clinical Research [104.66211772795747]
  このギャップを橋渡しする自己進化型診断剤DxEvolveを,インタラクティブな深層臨床研究ワークフローを通じて開発しました。 MIMIC-CDMベンチマークでは、DxEvolveは平均オーバーボーンモデルで診断精度を11.2%改善した。 DxEvolveは、経験を管理可能な学習資産に変えることによって、臨床AIの継続的な進化のための説明可能な経路をサポートする。
  論文  参考訳（メタデータ） (2026-03-11T11:41:51Z)
• Guideline-Grounded Evidence Accumulation for High-Stakes Agent Verification [60.18369393468405]
  既存の検証器は通常、ドメイン知識の欠如と限られた校正のために性能が劣る。 GLEANは専門家によって計算されたプロトコルをトラジェクトリインフォームされ、よく校正された正当性信号にコンパイルする。 我々は,MIMIC-IVデータセットから得られた3つの疾患の薬物的臨床診断でGLEANを実証的に検証した。
  論文  参考訳（メタデータ） (2026-03-03T09:36:43Z)
• Towards Reliable Medical LLMs: Benchmarking and Enhancing Confidence Estimation of Large Language Models in Medical Consultation [97.36081721024728]
  本稿では,現実的な医療相談におけるマルチターンインタラクションの信頼性を評価するための最初のベンチマークを提案する。 本ベンチマークでは,3種類の医療データを統合し,診断を行う。 本稿では,エビデンスを基盤とした言語自己評価フレームワークであるMedConfを紹介する。
  論文  参考訳（メタデータ） (2026-01-22T04:51:39Z)
• Evaluating Large Language Models for Evidence-Based Clinical Question Answering [4.101088122511548]
  大規模言語モデル (LLMs) は, 医学的, 臨床的応用において著しく進歩している。 Cochraneの体系的レビューと臨床ガイドラインから得られたベンチマークをキュレートする。 我々はソースと臨床領域間で一貫したパフォーマンスパターンを観察する。
  論文  参考訳（メタデータ） (2025-09-13T15:03:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。