論文の概要: Calibrated Triage, Not Autonomy: Confidence Estimation for Medical Vision-Language Models
- arxiv url: http://arxiv.org/abs/2606.15910v1
- Date: Sun, 14 Jun 2026 16:39:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 18:36:04.930335
- Title: Calibrated Triage, Not Autonomy: Confidence Estimation for Medical Vision-Language Models
- Title（参考訳）: 医学的視覚・言語モデルにおける信頼度推定
- Abstract要約: ヴィジュアル言語モデルは、画像のほとんど使用しながら、医用画像に関する質問に、ゆるやかに、自信を持って答えることができる。
我々は,5つのオープンウェイトLVLMと3つの医用視覚質問応答データセットの信頼度推定器について検討した。
- 参考スコア（独自算出の注目度）: 4.0196226339562555
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A vision-language model can answer a question about a medical image fluently and confidently while barely using the image, leaning instead on language priors. In medicine this is the failure that matters most, because the answer looks trustworthy and is not, and the only protection is a confidence score reliable enough to tell the system when to abstain. We ask a deployment question rather than an accuracy one: how much imaging work a model can safely handle alone, and which confidence signal makes that possible. We evaluate seven confidence estimators across five open-weight LVLMs and three medical visual-question-answering datasets spanning broad clinical imaging, radiology, and pathology, with every probe trained only on natural images and applied without adaptation. Recast as bounded selective prediction (automate a case only when confidence clears a threshold, defer the rest), the comparison is cautionary. The standard metrics are poor guides: discrimination barely separates the methods, and the weak calibration of a cheap self-report is cheaply removed by off-domain temperature scaling without changing deployable yield. What distinguishes a usable estimator is the high-confidence region a clinician acts on: the weakest baselines are confidently wrong on 41 to 45 percent of their errors against 1 to 4 percent for the best probe, and no estimator is reliably best across domains or models. Safe handoff is governed at two levels: base-model competence sets a ceiling, so a well-calibrated score recovers roughly a third of radiology cases at a 20 percent error tolerance but almost none of pathology; the confidence layer then decides how much of that ceiling is reachable. The usable role today is calibrated triage, not autonomy: automate the cases a calibrated score marks safe, route the rest to a clinician. We release all outputs, correctness judgments, and confidence scores, with code.
- Abstract（参考訳）: ヴィジュアル言語モデルは、医学的イメージに関する質問に対して、そのイメージをほとんど使わずに、流動的で自信を持って答えることができる。
医療において、これは最も重要な失敗である。それは、答えが信頼できそうにないためであり、唯一の保護は、システムにいつ停止するかを伝えるのに十分な信頼性のスコアである。
私たちは、モデルが安全に単独で処理できる画像の量と、それを可能にする信頼性信号の信頼性という、正確さというよりも、デプロイメントの問題に疑問を投げかけます。
広範臨床画像,放射線学,病理学を対象とする5つのオープンウェイトLVLMと3つの医用画像検索データセットの信頼性評価を行い,各プローブは自然画像のみに基づいて訓練し,適応せずに適用した。
境界選択予測として再キャストする(信頼度が閾値をクリアした場合のみ、残りを延期する)と、比較は慎重である。
差別はメソッドをほとんど分離せず、安価なセルフレポートの弱いキャリブレーションは、デプロイ可能な収量を変更することなく、ドメイン外の温度スケーリングによって安価に除去される。
最も弱い基準線は41～45%の誤差に対して、最良のプローブでは1～4%、ドメインやモデルでは確実に最適である。
安全ハンドオフは2つのレベルで管理される: ベースモデルコンピテンスによって天井が設定されるため、よく校正されたスコアは、約3分の1の放射線学ケースを20%のエラー耐性で回復するが、ほとんどは病理学ではない。
現在の使用可能な役割は、調整されたトリアージであり、自律性ではない。
すべてのアウトプット、正確性判断、信頼度スコアをコードでリリースします。
関連論文リスト
- EVADE: Evidence-Verified Agentic Diagnosis with Escape [0.880899367147235]
EVADEは、単一の凍結VLMをデプロイする安全性を高めるための推論非トレーニング手法である。
画像全体とズームされたビュー応答の両方が一致する場合にのみコミットする。
ゼロショットに比べて、期待キャリブレーション誤差(ECE)を最大45%削減する。
論文 参考訳（メタデータ） (2026-08-19T11:51:24Z) - Confidence Estimation for Financial Vision-Language Models in Chart and Document Understanding [8.289856517294075]
我々は,5個のオープンウェイトLVLMを用いて,7つの信頼度推定器,3つの推論専用プローブ,4つの訓練された内部プローブを評価した。
それぞれのプローブは、自然画像のみに基づいて訓練され、適応せずにファイナンスに適用される。
論文 参考訳（メタデータ） (2026-08-06T19:33:11Z) - Confident but Unreliable: A Behavioral Safety Audit of Vision-Language Models on Brain MRI [1.2744523252873352]
我々は、フロンティアマルチモーダルシステムにおいて、より広い障害モードのために、制御されたハイテイクテストベッドとして、脳MRIを使用します。
本稿では,4,102画像上の6つの命令調整型視覚言語モデル(VLM)の自動評価とパイロット実験について述べる。
モデル全体では、回答のカバレッジはほぼ完全であるが、言語化された信頼度キャリブレーションは貧弱である。
オープンエンド診断では、幻覚と禁忌は、複数の選択精度とは別々に異なることが示されている。
論文 参考訳（メタデータ） (2026-08-03T18:42:04Z) - Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。
以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。
我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
論文 参考訳（メタデータ） (2026-07-30T16:22:13Z) - Grounded or Guessing? LVLM Confidence Estimation via Blind-Image Contrastive Ranking [7.845652284569666]
本稿では,モデルに依存しない信頼度推定フレームワークBICR(Blind-Image Contrastive Ranking)を紹介する。
ライトウェイトプローブは、実像隠蔽状態に基づいてトレーニングされ、ブラックアウトビューに対する高い信頼度を罰するランキング損失によって正規化される。
5つの現代のLVLMと7つのベースラインで評価され、視覚的質問応答、オブジェクト検出、医用画像、財務文書理解に関するベンチマークが実施された。
論文 参考訳（メタデータ） (2026-05-11T17:35:10Z) - Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。
1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。
診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
論文 参考訳（メタデータ） (2026-04-06T00:23:10Z) - When Can We Trust LLM Graders? Calibrating Confidence for Automated Assessment [1.896929753246251]
大規模言語モデル(LLM)は自動階調の保証を示すが、その出力は信頼できない。
これにより、信頼性の高い予測が自動的に処理され、不確実なケースが人間のレビューにフラグ付けされる選択的な自動化が可能になる。
論文 参考訳（メタデータ） (2026-03-31T10:38:22Z) - Evaluating Reasoning Faithfulness in Medical Vision-Language Models using Multimodal Perturbations [19.488236277427358]
視覚言語モデル(VLM)は、しばしばチェーン・オブ・シント(CoT)の説明を生み出す。
胸部X線視覚質問応答(VQA)の臨床的基盤として,制御されたテキストと画像修正を用いてCoT忠実度を探索するフレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-13T09:28:22Z) - EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models [82.43729208063468]
医療用LVLM(Large Vision-Language Models)の最近のベンチマークでは、信頼性と安全性を見越して、リーダボードの精度を強調している。
ユーザが提供した情報を非批判的に反響させる傾向のモデルについて検討する。
医療用LVLMの梅毒を系統的に評価するベンチマークであるEchoBenchを紹介する。
論文 参考訳（メタデータ） (2025-09-24T14:09:55Z) - ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。
LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
論文 参考訳（メタデータ） (2025-08-26T09:25:32Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳（メタデータ） (2024-03-05T11:44:14Z) - Towards Reliable Medical Image Segmentation by Modeling Evidential Calibrated Uncertainty [57.023423137202485]
医用画像のセグメンテーションの信頼性に関する懸念が臨床医の間で続いている。
本稿では,医療画像セグメンテーションネットワークにシームレスに統合可能な,実装が容易な基礎モデルであるDEviSを紹介する。
主観的論理理論を活用することで、医用画像分割の確率と不確実性を明示的にモデル化する。
論文 参考訳（メタデータ） (2023-01-01T05:02:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。