論文の概要: Confident but Unreliable: A Behavioral Safety Audit of Vision-Language Models on Brain MRI

• arxiv url: http://arxiv.org/abs/2608.02790v1
• Date: Mon, 03 Aug 2026 18:42:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:22.919206
• Title: Confident but Unreliable: A Behavioral Safety Audit of Vision-Language Models on Brain MRI
• Title（参考訳）: 信頼性はあるものの信頼できない:脳MRIにおける視覚・言語モデルの行動安全監査
• Abstract要約: 我々は、フロンティアマルチモーダルシステムにおいて、より広い障害モードのために、制御されたハイテイクテストベッドとして、脳MRIを使用します。 本稿では,4,102画像上の6つの命令調整型視覚言語モデル(VLM)の自動評価とパイロット実験について述べる。 モデル全体では、回答のカバレッジはほぼ完全であるが、言語化された信頼度キャリブレーションは貧弱である。 オープンエンド診断では、幻覚と禁忌は、複数の選択精度とは別々に異なることが示されている。
• 参考スコア（独自算出の注目度）: 1.2744523252873352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs), including medical specialists, are increasingly proposed for medical imaging, yet their stated confidence is rarely evaluated separately from correctness. We use brain MRI as a controlled, high-stakes testbed for a broader failure mode in frontier multimodal systems: models can appear competent while lacking reliable self-knowledge. We present an automatically graded behavioral audit and pilot study of six instruction-tuned VLMs (five general-purpose and one medical specialist) on 4,102 images (4,032 axial/coronal/sagittal MRI slices from 250 subjects plus 70 non-brain/noise controls), with labels derived from public metadata and released expert segmentation masks rather than new human annotation. Across models, answer coverage is near-complete, but verbalized-confidence calibration is poor: ECE ranges from 0.27 to 0.40, mean confidence on incorrect answers ranges from 0.82 to 0.97, and 33-46% of answered items are high-confidence errors. The most accurate model is also the most confident on its errors, while a base/specialist family contrast suggests that medical adaptation improves tumor-presence detection without improving confidence reliability. Open-ended diagnostics further show that hallucination and abstention vary separately from multiple-choice accuracy. These findings argue that medical-image VLM evaluation should report verbalized-confidence reliability, confident error, hallucination, and abstention alongside accuracy.
• Abstract（参考訳）: 医用専門家を含む視覚言語モデル (VLM) は, 医用画像撮影においてますます提案されているが, その信頼性は, 正確性とは別個に評価されることは稀である。 我々は、フロンティアマルチモーダルシステムにおいて、より広い障害モードのための制御されたハイテイクテストベッドとして、脳MRIを使用します。 4,102枚の画像(4,032個の軸/コロナ/サジタルMRIスライスと70個の非脳/ノイズコントロール)に、公開メタデータからラベルを抽出し、新しい人間のアノテーションではなく専門家セグメンテーションマスクを公表した。 ECE は 0.27 から 0.40 の範囲で、誤った回答に対する平均信頼度は 0.82 から 0.97 まで、回答項目の 33-46% は高信頼エラーである。 最も正確なモデルは、その誤りに対して最も確実なモデルであり、ベース/スペシャリストの家族のコントラストは、信頼性を向上させることなく、医療適応が腫瘍存在の検出を改善することを示唆している。 オープンエンド診断では、幻覚と禁忌は多重選択精度とは別々に異なることが示されている。 以上の結果から, 医療画像VLM評価では, 言語的信頼度, 自信的誤り, 幻覚, 禁忌を, 正確さとともに報告すべきであると考えられる。

関連論文リスト

• Calibrated Triage, Not Autonomy: Confidence Estimation for Medical Vision-Language Models [4.0196226339562555]
  ヴィジュアル言語モデルは、画像のほとんど使用しながら、医用画像に関する質問に、ゆるやかに、自信を持って答えることができる。 我々は,5つのオープンウェイトLVLMと3つの医用視覚質問応答データセットの信頼度推定器について検討した。
  論文  参考訳（メタデータ） (2026-06-14T16:39:17Z)
• MedVIGIL: Evaluating Trustworthy Medical VLMs Under Broken Visual Evidence [24.517280048376758]
  medvigilは4つの公開医療用VQAソースから作成された300ケースの評価スイートである。 あらゆるゴールド回答、拒絶オプション、候補答えセット、パラフレーズ、虚偽の前提トラップ、ROIボックス、臨床リスクレベルが臨床著者によって作成される。 メドビニル複合スコア(MCS)に要約した7つの正当性条件監査指標を報告する。 独立した放射線学者は、静電気障害率5.8%でMCS 83.3をスコアし、14.1ポイントの複合ヘッドルームを最強の監査モデルの上に残した。
  論文  参考訳（メタデータ） (2026-05-08T15:55:30Z)
• Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
  大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。 1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。 診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
  論文  参考訳（メタデータ） (2026-04-06T00:23:10Z)
• Multi-Agent Reasoning with Consistency Verification Improves Uncertainty Calibration in Medical MCQA [0.0]
  マルチエージェントフレームワークはドメイン固有の特殊エージェントとTwo-Phase VerificationとS-Score Weighted Fusionを組み合わせたものだ。 4つの専門エージェントがQwen2.5-7B-Instructを使用して独立した診断を生成する。 Sスコアは最終回答を選択する重み付き融合戦略を推進し、信頼性を報告している。
  論文  参考訳（メタデータ） (2026-03-25T16:22:53Z)
• Cerebra: A Multidisciplinary AI Board for Multimodal Dementia Characterization and Risk Assessment [56.62016795093786]
  CerebraはインタラクティブなマルチエージェントAIチームで、ERH、臨床ノート、医療画像分析のための特殊エージェントをコーディネートする。 構造化された表現を操作することで、プライバシ保護デプロイメントをサポートし、モダリティが不完全であれば、堅牢である。 Cerebraは、有識者のパフォーマンスを著しく改善し、前向き認知症リスク推定において精度を17.5ポイント向上させた。
  論文  参考訳（メタデータ） (2026-03-23T05:46:45Z)
• Towards Reliable Medical LLMs: Benchmarking and Enhancing Confidence Estimation of Large Language Models in Medical Consultation [97.36081721024728]
  本稿では,現実的な医療相談におけるマルチターンインタラクションの信頼性を評価するための最初のベンチマークを提案する。 本ベンチマークでは,3種類の医療データを統合し,診断を行う。 本稿では,エビデンスを基盤とした言語自己評価フレームワークであるMedConfを紹介する。
  論文  参考訳（メタデータ） (2026-01-22T04:51:39Z)
• Evaluating Reasoning Faithfulness in Medical Vision-Language Models using Multimodal Perturbations [19.488236277427358]
  視覚言語モデル(VLM)は、しばしばチェーン・オブ・シント(CoT)の説明を生み出す。 胸部X線視覚質問応答(VQA)の臨床的基盤として,制御されたテキストと画像修正を用いてCoT忠実度を探索するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-13T09:28:22Z)
• EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models [82.43729208063468]
  医療用LVLM(Large Vision-Language Models)の最近のベンチマークでは、信頼性と安全性を見越して、リーダボードの精度を強調している。 ユーザが提供した情報を非批判的に反響させる傾向のモデルについて検討する。 医療用LVLMの梅毒を系統的に評価するベンチマークであるEchoBenchを紹介する。
  論文  参考訳（メタデータ） (2025-09-24T14:09:55Z)
• Beyond Benchmarks: Dynamic, Automatic And Systematic Red-Teaming Agents For Trustworthy Medical Language Models [87.66870367661342]
  大規模言語モデル(LLM)は、医療におけるAIアプリケーションで使用される。 LLMを継続的にストレステストするレッドチームフレームワークは、4つのセーフティクリティカルなドメインで重大な弱点を明らかにすることができる。 敵エージェントのスイートは、自律的に変化するテストケースに適用され、安全でないトリガー戦略を特定し、評価する。 私たちのフレームワークは、進化可能でスケーラブルで信頼性の高い、次世代の医療AIのセーフガードを提供します。
  論文  参考訳（メタデータ） (2025-07-30T08:44:22Z)
• CARES: A Comprehensive Benchmark of Trustworthiness in Medical Vision Language Models [92.04812189642418]
  我々はCARESを紹介し,医療領域全体での医療LVLMの信頼性を評価することを目的とする。 我々は,Med-LVLMの信頼性を,信頼性,公正性,安全性,プライバシ,堅牢性,5次元にわたって評価する。
  論文  参考訳（メタデータ） (2024-06-10T04:07:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。