論文の概要: To Agree or To Be Right? The Grounding-Sycophancy Tradeoff in Medical Vision-Language Models
- arxiv url: http://arxiv.org/abs/2603.22623v1
- Date: Mon, 23 Mar 2026 22:51:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-25 19:53:37.211742
- Title: To Agree or To Be Right? The Grounding-Sycophancy Tradeoff in Medical Vision-Language Models
- Title（参考訳）: 正しいか、正しいか? 医療ビジョン-言語モデルにおける接地・体力のトレードオフ
- Authors: OFM Riaz Rahman Aranya, Kevin Desai,
- Abstract要約: 医用領域に適応した視覚言語モデル(VLM)は,視覚的質問応答ベンチマークにおいて高い性能を示した。
最も幻覚率の低いモデルは最もサイコファンである。
以上より,これらのモデルが臨床応用に有用となるためには,両特性の同時評価が必要であることが示唆された。
- 参考スコア（独自算出の注目度）: 4.726777092009554
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models (VLMs) adapted to the medical domain have shown strong performance on visual question answering benchmarks, yet their robustness against two critical failure modes, hallucination and sycophancy, remains poorly understood, particularly in combination. We evaluate six VLMs (three general-purpose, three medical-specialist) on three medical VQA datasets and uncover a grounding-sycophancy tradeoff: models with the lowest hallucination propensity are the most sycophantic, while the most pressure-resistant model hallucinates more than all medical-specialist models. To characterize this tradeoff, we propose three metrics: L-VASE, a logit-space reformulation of VASE that avoids its double-normalization; CCS, a confidence-calibrated sycophancy score that penalizes high-confidence capitulation; and Clinical Safety Index (CSI), a unified safety index that combines grounding, autonomy, and calibration via a geometric mean. Across 1,151 test cases, no model achieves a CSI above 0.35, indicating that none of the evaluated 7-8B parameter VLMs is simultaneously well-grounded and robust to social pressure. Our findings suggest that joint evaluation of both properties is necessary before these models can be considered for clinical use. Code is available at https://github.com/UTSA-VIRLab/AgreeOrRight
- Abstract（参考訳）: 医用領域に適応した視覚言語モデル(VLM)は、視覚的質問応答ベンチマークにおいて強い性能を示したが、幻覚と梅毒の2つの重要な障害モードに対する頑健さは、特に組み合わせではあまり理解されていない。
我々は,3つの医療用VQAデータセット上で6つのVLM(汎用3つの医療専門医)を評価し,最も幻覚率の低いモデルは最も幻覚的であり,最も耐圧性が高いモデルはすべての医療専門医モデルよりも幻覚的である。
このトレードオフを特徴付けるために, 二重正規化を回避するVASEのロジット空間再構成であるL-VASE, 高信頼のカプセル化を罰する信頼性校正されたサイコファンシースコアCCS, 幾何学的平均によるグラウンドニング, 自律性, キャリブレーションを組み合わせた統合安全指標であるCSIの3つの指標を提案する。
1,151件の試験では、0.35以上のCSIを達成するモデルはなく、評価された7-8BパラメータのVLMはいずれも、社会的圧力に対して良好で堅牢であることを示している。
以上より,これらのモデルが臨床応用に有用となるためには,両特性の同時評価が必要であることが示唆された。
コードはhttps://github.com/UTSA-VIRLab/AgreeOrRightで入手できる。
関連論文リスト
- Overalignment in Frontier LLMs: An Empirical Study of Sycophantic Behaviour in Healthcare [1.9010852820067994]
モデル不安定性("Confusability")を考慮してアライメントバイアスを分離する新しい尺度であるAdjusted Sycophancy Scoreを提案する。
以上の結果から, ベンチマーク性能は臨床信頼性の指標ではないことが示唆され, 簡易な推論構造は, 専門家主導の薬効に対して優れた堅牢性をもたらす可能性が示唆された。
論文 参考訳（メタデータ） (2026-01-26T10:21:34Z) - Benchmarking Egocentric Clinical Intent Understanding Capability for Medical Multimodal Large Language Models [48.95516224614331]
MedGaze-Benchは、臨床医の視線を認知的カーソルとして活用し、手術、緊急シミュレーション、診断解釈における意図的理解を評価する最初のベンチマークである。
本ベンチマークでは,解剖学的構造の視覚的均一性,臨床における時間・因果依存性の厳格化,安全プロトコルへの暗黙の順守という3つの基本的な課題に対処する。
論文 参考訳（メタデータ） (2026-01-11T02:20:40Z) - S-Chain: Structured Visual Chain-of-Thought For Medicine [81.97605645734741]
S-Chainは,有界ボックスと構造化ビジュアルCoT(SV-CoT)を備えた,12,000のエキスパートアノテートされた医用画像の最初の大規模データセットである。
データセットはさらに16言語をサポートし、幅広い多言語適用性のための合計700万VQAペアをサポートする。
S-Chainは、根拠のある医療推論のための新しいベンチマークを確立し、より信頼性が高く説明可能な医療ビジョン言語モデルへの道を開く。
論文 参考訳（メタデータ） (2025-10-26T15:57:14Z) - MedAlign: A Synergistic Framework of Multimodal Preference Optimization and Federated Meta-Cognitive Reasoning [52.064286116035134]
我々はMed-VQA(Med-VQA)のための視覚的LVLM応答を保証するフレームワークであるMedAlignを開発した。
まず、優先学習を視覚的コンテキストに合わせるために、マルチモーダルな直接選好最適化(mDPO)の目的を提案する。
次に、画像とテキストの類似性を生かし、クエリを専門的でコンテキスト拡張されたLVLMにルーティングする検索型混合処理(RA-MoE)アーキテクチャを設計する。
論文 参考訳（メタデータ） (2025-10-24T02:11:05Z) - Benchmarking and Mitigate Sycophancy in Medical Vision-Language Models [21.353225217216252]
視覚言語モデルは、しばしば、証拠に基づく推論よりも、社会的手がかりや認識された権威を記述したユーザーとの整合性に優先順位を付ける、幻想的行動を示す。
本研究は, 新規な臨床評価基準を用いて, 医用視覚質問応答における臨床症状について検討した。
論文 参考訳（メタデータ） (2025-09-26T07:02:22Z) - EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models [82.43729208063468]
医療用LVLM(Large Vision-Language Models)の最近のベンチマークでは、信頼性と安全性を見越して、リーダボードの精度を強調している。
ユーザが提供した情報を非批判的に反響させる傾向のモデルについて検討する。
医療用LVLMの梅毒を系統的に評価するベンチマークであるEchoBenchを紹介する。
論文 参考訳（メタデータ） (2025-09-24T14:09:55Z) - MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。
6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。
結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
論文 参考訳（メタデータ） (2025-08-22T08:38:16Z) - MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models [82.30696225661615]
MedHalluは、医学的幻覚検出に特化して設計された最初のベンチマークである。
GPT-4o, Llama-3.1, および医学的に微調整されたUltraMedicalを含む最先端のLSMは、このバイナリ幻覚検出タスクに苦慮している。
双方向の包絡クラスタリングを用いて, 難解な幻覚は, 意味論的に真実に近いことを示す。
論文 参考訳（メタデータ） (2025-02-20T06:33:23Z) - SURE-VQA: Systematic Understanding of Robustness Evaluation in Medical VQA Tasks [2.033441577169909]
VLM(Vision-Language Models)は、VQA(Visual Question Answering)のような医療タスクにおいて大きな可能性を秘めている。
目に見えないデータに対する分散シフトに対する堅牢性は、安全なデプロイメントにとって重要な関心事です。
私たちは、現在の落とし穴を克服する3つの重要な要件を中心に、SURE-VQAと呼ばれる新しいフレームワークを紹介します。
論文 参考訳（メタデータ） (2024-11-29T13:22:52Z) - BeSt-LeS: Benchmarking Stroke Lesion Segmentation using Deep Supervision [0.0]
我々は、様々なエンドツーエンドの教師付きU-Netスタイルモデルをベンチマークするために、公開データセットATLAS $v2.0$を考える。
具体的には、2Dと3Dの両方の脳画像のモデルをベンチマークし、標準メトリクスを用いて評価した。
論文 参考訳（メタデータ） (2023-10-10T22:54:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。