論文の概要: Judge-dependent safety gains and model-specific helpfulness costs of evidence-sufficiency prompting in clinical LLMs

• arxiv url: http://arxiv.org/abs/2607.18086v1
• Date: Mon, 20 Jul 2026 15:53:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.693361
• Title: Judge-dependent safety gains and model-specific helpfulness costs of evidence-sufficiency prompting in clinical LLMs
• Title（参考訳）: 臨床 LLM における判断依存型安全性向上とエビデンス充足のモデル特異的有用性コスト
• Abstract要約: 構造化されたエビデンス・サフィリエイトが不確実な過度な回答を減少させるかどうかを検証した。 盲目の臨床医は、一次審査員を高感度(1.00)、低特異性(0.55)の画面であり、校正足場ゲインではないと特徴づけた。 一致した制御は、円度を判断するのではなく、真の行動変化を示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Background: LLM judges increasingly score whether clinical language models give overconfident answers under incomplete evidence, yet whether a measured "safety gain" reflects real behavior change or the judge's calibration is unresolved. Using a structured evidence-sufficiency prompt as a test case, we asked whether it reduces unsafe overconfident answers, how far that effect depends on the scoring judge, and what it costs in helpfulness. Methods: In a retrospective public-data benchmark (Real-POCQi, HealthBench, MedRBench), four models (GPT-5.5, Claude Opus 4.8, Gemini 3.5 Flash, Grok 4.3) answered a fully paired common panel (1,200 cells) with a standard prompt and the wrapper. The pre-specified endpoint was the paired reduction in unsafe overconfidence scored by the primary judge (GPT-5.4-nano); secondary analyses added a different-family judge (Claude Sonnet 5), a correctness judge, matched scaffold controls, and a blinded three-clinician review. Results: Unsafe overconfidence fell from 49.3% to 24.7%, a paired reduction of 24.7 points (95% CI 21.8-27.7; p<0.001), robust in direction across models and paraphrases. Magnitude was judge-dependent: Sonnet agreed on direction but nearly halved the effect (+13.1 points), with one-directional disagreement. Blinded clinicians characterized the primary judge as a high-sensitivity (1.00), low-specificity (0.55) screen, not a calibrated rate. The gain carried a model-specific helpfulness cost (correct diagnosis 80.3% to 50.3%): near-free for GPT-5.5, near-total for Gemini (-58 points). Matched scaffold controls showed genuine behavior change, not judge circularity. Conclusions: LLM-judged clinical safety effects should be reported as directional and relative, anchored to human review and evaluated jointly with helpfulness, not as calibrated absolute rates. This does not establish clinical deployment readiness.
• Abstract（参考訳）: 背景: LLMの審査員は、不完全な証拠の下で臨床言語モデルが過度に自信ある答えを与えるかどうかをますます評価するが、測定された「安全利得」が実際の行動変化を反映しているか、裁判官の校正が未解決であるかを判断する。 テストケースとして構造化されたエビデンス・十分性のプロンプトを用いて、安全でない過度な回答を減らし、その効果が審査員の判断にどの程度依存するか、役立ちに要するコストについて質問した。 メソッド: レトロスペクティブの公開データベンチマーク(Real-POCQi、HealthBench、MedRBench)では、4つのモデル(GPT-5.5、Claude Opus 4.8、Gemini 3.5 Flash、Grok 4.3)が、標準のプロンプトとラッパーを備えた完全なペアの共通パネル(1,200セル)に答えた。 事前に特定されたエンドポイントは、プライマリ・ジャッジ(GPT-5.4-nano)による安全でない過信度(英語版)のペア化であり、二次分析では、異なる家族のジャッジ(Claude Sonnet 5)、正当性ジャッジ(英語版)、マッチした足場制御(英語版)、盲目の3人によるレビューが追加された。 結果: 安全性の低い過信は49.3%から24.7%に低下し、それぞれ24.7ポイント(95% CI 21.8-27.7; p<0.001)を減らした。 ソーネットは方向に同意したが、効果は半分近く(+13.1点)、一方的な意見の相違があった。 高感度(1.00)、低特異性(0.55)の画面であり、校正率ではない。 この利得はモデル固有の有用性コスト(80.3%から50.3%)を伴い、GPT-5.5がほぼ無料、ジェミニがほぼ無料(-58点)となった。 一致した足場制御は、判断円度ではなく、真の行動変化を示した。 結論: LLM-judged 臨床安全効果は, 客観的かつ相対的に報告され, ヒトのレビューに固定され, 絶対値の校正ではなく, 有用性と共に評価されるべきである。 これは、臨床展開の準備ができていない。

関連論文リスト

• Does Reasoning Improve Psychological Depth in Large Language Models? It Depends on Who's Judging [41.62710134204231]
  短い物語において、心理学的深度を通して失敗モードを研究する。 審査員の、その開発セットにおける人間の評価との相関は、アウトプットが密に一致し、人間の嗜好が主観的である場合、有効な測定を保証できない可能性がある。 これらの結果から, 開発段階の性能は, シフト分布におけるデプロイメントの有効性の証拠として不十分であることが示唆された。
  論文  参考訳（メタデータ） (2026-09-12T07:34:54Z)
• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• Evaluating medical AI under missing information: same-provider judges and human raters change apparent safety [0.0]
  ストレステストでは、HealthBench会話の最後の半分を削除し、4つのプロジェクタLDM-judgeパネルとブラインドされたクリニックアンコールで回答をグラデーションすることで、4つのモデルをテストした。 評価対象の2つの結果は堅牢である。第一に、判断選択は明らかに安全性を著しく変える。 第二に、LLMの審査員は盲目の50石のサブサンプルで臨床医よりも寛容である。
  論文  参考訳（メタデータ） (2026-07-21T08:05:35Z)
• Trivial Prompt Reframing Bypasses Safety Guardrails in Googleś MedGemma-4B [0.0]
  オープンウェイト医療言語モデルは、患者向けおよび臨床支援アプリケーションの基礎として、ますます利用されている。 MedGemma-4B-itの技術的洗練を必要としない攻撃におけるギャップを定量化する。
  論文  参考訳（メタデータ） (2026-07-09T18:31:43Z)
• CLExEval: A Human-in-the-Loop Framework for Qualitative Evaluation of LLM Clinical Reasoning [37.91882261875461]
  大規模言語モデル (LLMs) は多くの医学ベンチマークにおいて強い結果が得られたが, 臨床的理由を確実に評価することは困難である。 プログレッシブな情報マスキング下でのLCM臨床推論を評価するための人為的ループ・フレームワークであるCLExEvalを紹介した。
  論文  参考訳（メタデータ） (2026-06-30T12:56:42Z)
• ClinicalBench: Stress-Testing Assertion-Aware Retrieval for Cross-Admission Clinical QA on MIMIC-IV [0.0]
  推論ベンチマークはクリーンインプットの臨床的パフォーマンスを測定する。 我々は, 否定, 時間性, 家族反対の帰属が正しい答えを誤ったものに戻すことができる, 実際の EHR ノートを検索することで, 推論の段階を評価する。 EpiKGは、アサーションラベルと時間性タグを患者の知識グラフに格納し、質問意図による検索をルーティングする。
  論文  参考訳（メタデータ） (2026-05-11T18:47:52Z)
• Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
  大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。 1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。 診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
  論文  参考訳（メタデータ） (2026-04-06T00:23:10Z)
• From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
  異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。 商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。 低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
  論文  参考訳（メタデータ） (2026-03-02T13:02:13Z)
• PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
  大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。 我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。 LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
  論文  参考訳（メタデータ） (2026-03-02T00:50:39Z)
• The Value Sensitivity Gap: How Clinical Large Language Models Respond to Patient Preference Statements in Shared Decision-Making [0.6768558752130311]
  大規模言語モデル (LLM) は意思決定支援ツールとして臨床に導入されているが, 患者価値の明示的な記述に対する対応方法はまだ検討されていない。 我々は,98,759人の未確認メディケイド遭遇ノートから得られた臨床ヴィニグレットを用いて因子分析を行った。 全てのモデルでは、非コントロール試験の100%で患者の値を認めたが、実際の推奨シフトは控えめであった。
  論文  参考訳（メタデータ） (2026-02-12T21:42:21Z)
• EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models [82.43729208063468]
  医療用LVLM(Large Vision-Language Models)の最近のベンチマークでは、信頼性と安全性を見越して、リーダボードの精度を強調している。 ユーザが提供した情報を非批判的に反響させる傾向のモデルについて検討する。 医療用LVLMの梅毒を系統的に評価するベンチマークであるEchoBenchを紹介する。
  論文  参考訳（メタデータ） (2025-09-24T14:09:55Z)
• Evaluating Generative AI as an Educational Tool for Radiology Resident Report Drafting [1.5457333450799497]
  本研究は,HIPAA 準拠の GPT-4o システムを用いて,実地臨床環境において住民が作成した乳房画像報告を自動的にフィードバックするシステムについて検討した。 1) キー発見の欠落または追加,(2) 技術的記述子の誤用または欠落,(3) 結果と一致しない最終評価の3つの一般的な誤り型が同定された。 GPT-4oは、90.5%、78.3%、90.4%のエラータイプで、コンセンサスに強く同意している。
  論文  参考訳（メタデータ） (2025-09-22T20:51:09Z)
• Benchmarking GPT-5 in Radiation Oncology: Measurable Gains, but Persistent Need for Expert Oversight [1.0471566053937098]
  GPT-5は大きな言語モデルであり、オンコロジーの使用に特化して販売されている。 TXITベンチマークでは、GPT-5の平均精度は92.8%で、GPT-4(78.8%)とGPT-3.5(62.1%)を上回った。 ビグネット評価では、GPT-5の治療勧告は、正当性(平均3.24/4、95%CI:3.11-3.38)と包括性(3.59/4、95%CI:3.49-3.69)を高く評価した。 幻覚は稀であったが,GPT-5による推奨が臨床導入に先立って厳密な専門家の監視を必要としていることを示す実体的誤りの存在
  論文  参考訳（メタデータ） (2025-08-29T16:55:25Z)
• Evaluating Large Language Models for Multimodal Simulated Ophthalmic Decision-Making in Diabetic Retinopathy and Glaucoma Screening [37.69303106863453]
  大規模言語モデル(LLM)は、自然言語のプロンプトに基づいて臨床推論をシミュレートすることができるが、眼科におけるそれらの有用性はほとんど解明されていない。 本研究は,GPT-4による網膜底写真の構造的記述の解釈能力について検討した。 300点の注釈付き眼底画像を用いた振り返り診断検査を行った。
  論文  参考訳（メタデータ） (2025-07-02T01:35:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。