論文の概要: Quantifying and Mitigating Premature Closure in Frontier LLMs

• arxiv url: http://arxiv.org/abs/2605.15000v1
• Date: Thu, 14 May 2026 16:02:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.932196
• Title: Quantifying and Mitigating Premature Closure in Frontier LLMs
• Title（参考訳）: フロンティアLLMにおける初期閉鎖の定量化と緩和
• Authors: Rebecca Handler, Suhana Bedi, Nigam Shah,
• Abstract要約: 早期閉鎖は診断ミスの原因として認識されているが、大言語モデル(LLM)では未検討である。 構造的および開放的な医療課題における5つのフロンティアLSMの評価を行った。
• 参考スコア（独自算出の注目度）: 4.513932256095551
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Premature closure, or committing to a conclusion before sufficient information is available, is a recognized contributor to diagnostic error but remains underexamined in large language models (LLMs). We define LLM premature closure as inappropriate commitment under uncertainty: providing an answer, recommendation, or clinical guidance when the safer response would be clarification, abstention, escalation, or refusal. We evaluated five frontier LLMs across structured and open-ended medical tasks. In MedQA (n = 500) and AfriMed-QA (n = 490) questions where the correct choice had been removed, models still selected an answer at high rates, with baseline false-action rates of 55-81% and 53-82%, respectively. In open-ended evaluation, models gave inappropriate answers on an average of 30% of 861 HealthBench questions and 78% of 191 physician-authored adversarial queries. Safety-oriented prompting reduced premature closure across models, but residual failure persisted, highlighting the need to evaluate whether medical LLMs know when not to answer.
• Abstract（参考訳）: 早期閉鎖、あるいは十分な情報が手に入る前に結論にコミットすることは、診断ミスに対して認識されているが、大きな言語モデル(LLM)では過小評価されていない。 我々は,LCM早期閉鎖を不確実性の下で不適切なコミットメントとして定義する: より安全な応答が明確化,棄却,エスカレーション,拒絶である場合,回答,勧告,臨床ガイダンスを提供する。 構造的および開放的な医療課題における5つのフロンティアLSMの評価を行った。 MedQA (n = 500) と AfriMed-QA (n = 490) では正しい選択が取り除かれたかという質問に対して、モデルはまだ高いレートで回答を選択しており、それぞれ55-81% と53-82% である。 オープンエンド評価では、モデルが861のHealthBench質問の30%、191の医師による反対クエリの78%に不適切な回答を与えた。 安全指向の推進により、モデル全体の早期閉鎖が減少するが、残存する障害は継続し、医療用LLMが答えるかどうかを評価する必要性が強調された。

関連論文リスト

• CLEAR: Revealing How Noise and Ambiguity Degrade Reliability in LLMs for Medicine [9.346299965194746]
  CLEAR(CLinical Evaluation of Ambiguity and Reliability)フレームワークについて紹介する。 CLEARは、妥当な回答オプションの数、根拠となる真実または棄権オプションの存在、および回答オプションの意味的なフレーミングを混乱させる。 17の医療用大言語モデルで評価された3つのベンチマークにCLEARを適用すると、3つの注目すべき制限が明らかになる。
  論文  参考訳（メタデータ） (2026-05-01T18:23:24Z)
• Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
  大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。 1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。 診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
  論文  参考訳（メタデータ） (2026-04-06T00:23:10Z)
• Same Verdict, Different Reasons: LLM-as-a-Judge and Clinician Disagreement on Medical Chatbot Completeness [49.2667937337333]
  不完全な患者の医療反応を検出するために,この仮定をストレステストする。 我々は,2つの臨床診断データセットにわたる3つの粒度(General-Likert,Analytical-Rubric,Dynamic-Checklist)と3つのバックボーンモデルを評価する。
  論文  参考訳（メタデータ） (2026-03-26T19:01:55Z)
• PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
  大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。 我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。 LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
  論文  参考訳（メタデータ） (2026-03-02T00:50:39Z)
• MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
  我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。 6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。 結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
  論文  参考訳（メタデータ） (2025-08-22T08:38:16Z)
• It is Too Many Options: Pitfalls of Multiple-Choice Questions in Generative AI and Medical Education [0.7771252627207672]
  MCQ(Multiple-choice question)ベンチマークにおけるLLM(Large Language Models)の性能は、その医療能力の証明としてしばしば引用される。 我々は、ペアMCQ(FreeMedQA)を用いた自由応答型質問の新しいベンチマークを作成しました。 このベンチマークを用いて,3つの最先端LCM (GPT-4o, GPT-3.5, LLama-3-70B-instruct) を評価し,自由応答問題において平均39.43%の性能低下が認められた。
  論文  参考訳（メタデータ） (2025-03-13T19:42:04Z)
• Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
  大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。 本稿では,構造化医療推論を利用した新しいアプローチを提案する。 我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
  論文  参考訳（メタデータ） (2025-03-05T05:24:55Z)
• Uncertainty-Based Abstention in LLMs Improves Safety and Reduces Hallucinations [63.330182403615886]
  大きな言語モデル(LLM)の実践的デプロイに対する大きな障壁は、信頼性の欠如である。 このことが特に顕著な3つの状況は、正しさ、未解決の質問に対する幻覚、安全性である。 人間のように、不確実性を理解する能力があるため、私たちが知らない質問への答えを控えるべきです。
  論文  参考訳（メタデータ） (2024-04-16T23:56:38Z)
• Large Language Models Encode Clinical Knowledge [21.630872464930587]
  大規模言語モデル(LLM)は、自然言語の理解と生成において印象的な能力を示している。 本稿では, 現実性, 正確性, 潜在的害, バイアスを含む複数の軸に沿ったモデル回答の人為的評価のための枠組みを提案する。 本研究は,モデル尺度とインストラクション・インシデント・チューニングにより,理解,知識の想起,医学的推論が向上することを示す。
  論文  参考訳（メタデータ） (2022-12-26T14:28:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。