論文の概要: Answer or Defer? Testing VLMs' Stated Confidence on Brain MRI
- arxiv url: http://arxiv.org/abs/2611.11833v1
- Date: Mon, 09 Nov 2026 03:50:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:38.161129
- Title: Answer or Defer? Testing VLMs' Stated Confidence on Brain MRI
- Title(参考訳): 答えとデファー : 脳MRIにおけるVLMの信頼度テスト
- Abstract要約: しきい値に記載された信頼度が、エラーを抑えながら有用なカバレッジを維持することができるかどうかを検証する。
BraTSでは、任意のモデルに対して少なくとも5%の経験的エラーを持つ空でないセットを、たとえ振り返って選択しても、しきい値が選択されない。
結果レベルの要約が利用可能な4つのモデルにおいて、プールされた平均信頼度は、各回答の正解と誤応答の間により異なる。
- 参考スコア(独自算出の注目度): 0.13999481573773073
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models (VLMs) could support medical-image interpretation, but their use requires deciding which interpretations to accept and which images to refer to a clinician. We test whether thresholding stated confidence can retain useful coverage while limiting errors among accepted answers, and how this depends on the population. Eight open-weight VLMs, including two reasoning models, assess 3,888 brain MRI slices from post-treatment glioma patients (BraTS 2024) and healthy volunteers (IXI) for tumor or gross abnormality. BraTS labels are mask-derived; IXI slices are treated as negatives. On BraTS, no threshold selects a nonempty set with at most 5% empirical error for any model, even when chosen retrospectively. This also holds for four models evaluated on a large-lesion, distant-negative subset. At a 10% error budget, Gemma-4-12B retains 24.4% of slices and every other model at most 2.5%. To investigate this limited selection ability, we separate confidence differences between predicted answers from differences within each answer. For four models with available outcome-level summaries, pooled mean confidence differs more between answers than between correct and incorrect responses within each answer. A covariance decomposition explains how this pattern can produce opposite confidence-correctness associations across populations. At a 20% error budget, accepting every "tumor" answer covers more slices than any confidence threshold for two models. These findings caution against using unvalidated stated confidence as a standalone deferral signal and support population-specific validation before deployment. Code is available at https://github.com/amir-sbg/VLM-Answer-or-Defer.
- Abstract(参考訳): ヴィジュアル言語モデル(VLM)は医療画像の解釈をサポートするが、どの解釈を受け入れるか、どの画像を参照するかを決定する必要がある。
我々は,回答の誤りを抑えつつ,評価された信頼度が有効範囲を保てるかどうかを検証し,人口による影響を検証した。
2つの推論モデルを含む8つのオープンウェイトVLMは、治療後のグリオーマ患者(BraTS 2024)と正常ボランティア(IXI)から3,888個の脳MRIスライスを評価する。
BraTSラベルはマスク由来であり、IXIスライスを陰性として扱う。
BraTSでは、任意のモデルに対して少なくとも5%の経験的エラーを持つ空でないセットを、たとえ振り返って選択しても、しきい値が選択されない。
これはまた、大規模な非負の部分集合で評価される4つのモデルについても成り立つ。
誤差の10%の予算で、Gemma-4-12Bは24.4%のスライスと他の全てのモデルを少なくとも2.5%で保持している。
この制限された選択能力を調べるため、予測された回答間の信頼差と各回答の差を分離する。
結果レベルの要約が利用可能な4つのモデルにおいて、プールされた平均信頼度は、各回答の正解と誤応答の間により異なる。
共分散分解(covariance decomposition)は、このパターンが集団間で反対の信頼性-正確性関連を生じさせる方法を説明する。
20%のエラー予算で、すべての"腫瘍"回答を受け入れることは、2つのモデルの信頼しきい値よりも多くのスライスをカバーする。
これらの知見は,非正当な信頼度を単独の遅延信号として使用し,展開前の個体群別検証を支援することに注意するものである。
コードはhttps://github.com/amir-sbg/VLM-Answer-or-Deferで入手できる。
関連論文リスト
- OmniMed-Jev: Calibrating LVLM Confidence for Trustworthy Medical Multimodal Decisions via System One [9.555285052728198]
提案するOmniMed-Jevは,複数モーダル供給候補集合に対する選択,Nuul,スコア決定として,それぞれの医学的決定を表現している。
様々な画像モダリティを受け入れ、異なる予測タスクをカバーし、1つの候補条件付き確率モデルを通してそれらを表現する。
OmniMed-Jevの報告した確率トラックは、同じバックボーン、データ、スケジュールでトレーニングされた生成ベースラインに対するインターフェース制御された比較において、より正確に観察された。
論文 参考訳(メタデータ) (2026-09-30T08:53:54Z) - Beyond Verbalized Confidence: Calibrating Reasoners with Differentiable Readouts [57.65087348754571]
検証可能な報酬(RLVR)による強化学習は、モデルに正しい回答を与えるよう推論するモデルを訓練するが、その信頼性が校正されることは保証しない。
近年の手法では、RLVRループ内のキャリブレーションを、モデルが応答に付随して数値的信頼度を持たせることで訓練しているが、これらはすべてテキストとしてサンプリングすることで信頼性を得る。
我々は、サンプリングを決定論的読み出しに置き換えるためにCREDO(Confidence REaDOut)を提案する。
論文 参考訳(メタデータ) (2026-09-28T10:47:41Z) - Confident but Unreliable: A Behavioral Safety Audit of Vision-Language Models on Brain MRI [1.2744523252873352]
我々は、フロンティアマルチモーダルシステムにおいて、より広い障害モードのために、制御されたハイテイクテストベッドとして、脳MRIを使用します。
本稿では,4,102画像上の6つの命令調整型視覚言語モデル(VLM)の自動評価とパイロット実験について述べる。
モデル全体では、回答のカバレッジはほぼ完全であるが、言語化された信頼度キャリブレーションは貧弱である。
オープンエンド診断では、幻覚と禁忌は、複数の選択精度とは別々に異なることが示されている。
論文 参考訳(メタデータ) (2026-08-03T18:42:04Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳(メタデータ) (2026-07-29T15:55:31Z) - Calibrated Triage, Not Autonomy: Confidence Estimation for Medical Vision-Language Models [4.0196226339562555]
ヴィジュアル言語モデルは、画像のほとんど使用しながら、医用画像に関する質問に、ゆるやかに、自信を持って答えることができる。
我々は,5つのオープンウェイトLVLMと3つの医用視覚質問応答データセットの信頼度推定器について検討した。
論文 参考訳(メタデータ) (2026-06-14T16:39:17Z) - Evaluating Reasoning Faithfulness in Medical Vision-Language Models using Multimodal Perturbations [19.488236277427358]
視覚言語モデル(VLM)は、しばしばチェーン・オブ・シント(CoT)の説明を生み出す。
胸部X線視覚質問応答(VQA)の臨床的基盤として,制御されたテキストと画像修正を用いてCoT忠実度を探索するフレームワークを提案する。
論文 参考訳(メタデータ) (2025-10-13T09:28:22Z) - Brain Tumor Classification on MRI in Light of Molecular Markers [56.99710477905796]
1p/19q遺伝子の同時欠失は、低グレードグリオーマの臨床成績と関連している。
本研究の目的は,MRIを用いた畳み込みニューラルネットワークを脳がん検出に活用することである。
論文 参考訳(メタデータ) (2024-09-29T07:04:26Z) - Uncertainty Estimation of Large Language Models in Medical Question Answering [60.72223137560633]
大規模言語モデル(LLM)は、医療における自然言語生成の約束を示すが、事実的に誤った情報を幻覚させるリスクがある。
医学的問合せデータセットのモデルサイズが異なる人気不確実性推定(UE)手法をベンチマークする。
以上の結果から,本領域における現在のアプローチは,医療応用におけるUEの課題を浮き彫りにしている。
論文 参考訳(メタデータ) (2024-07-11T16:51:33Z) - Improving Selective Visual Question Answering by Learning from Your
Peers [74.20167944693424]
VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。
本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。
提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
論文 参考訳(メタデータ) (2023-06-14T21:22:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。