Fugu-MT 論文翻訳(概要): Do Medical Vision Language Models Actually See? A Counterfactual Grounding Framework and Hard-Negative Contrastive Training for Visually-Reliant Medical VLMs

論文の概要: Do Medical Vision Language Models Actually See? A Counterfactual Grounding Framework and Hard-Negative Contrastive Training for Visually-Reliant Medical VLMs

arxiv url: http://arxiv.org/abs/2607.03647v1
Date: Sat, 04 Jul 2026 00:06:35 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-07 22:26:29.672725
Title: Do Medical Vision Language Models Actually See? A Counterfactual Grounding Framework and Hard-Negative Contrastive Training for Visually-Reliant Medical VLMs
Title（参考訳）: 医用視覚言語モデルは実際に見えるか? 視覚障害者用医用VLMのための対物接地フレームワークと強負的コントラストトレーニング
Abstract要約: 大規模視覚言語モデル(VLM)は、医学的質問に対する回答に強い精度を報告しているが、それらが視覚的エビデンスから引き起こされたのか、あるいはテキストによるショートカットを悪用したのかは定かではない。本稿では,視覚的およびテキスト的コントリビューションを,制御されたサロゲート,ピクセルシャッフル,イメージアプサント,CLIP検索したハード負の入力画像に置換することで分離する,対物的評価フレームワークを提案する。
参考スコア（独自算出の注目度）: 6.775973739193119
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large vision language models (VLMs) report strong accuracy on medical question-answering, yet it remains unclear whether they reason from visual evidence or exploit textual shortcuts. We introduce a counterfactual evaluation framework that decouples visual and textual contributions by substituting input images with controlled surrogates blank, pixel-shuffled, image-absent, and CLIP-retrieved hard negatives and derive a suite of grounding metrics including the Visual Reliance Score (VRS) and Visual Hallucination Rate (VHR). We further introduce CORAL (COntrastive Retrieval-Augmented Learning), a 7B-parameter LoRA fine-tune of Qwen2.5-VL-7B trained with a Contrastive Grounding Objective (CGO) that penalises answer invariance under hard-negative image swaps. On a paired controlled evaluation across four closed-form medical VQA benchmarks (PathVQA, PMC-VQA, SLAKE, VQA-RAD; n=400 total), CORAL improves macro accuracy by +6.7 pp (P(Delta>0)=0.988) and reduces VHR by 8.0 pp (P<0.001) over the matched Qwen2.5-VL-7B base; neither MedVLThinker RL variant achieves a significant gain on either metric. Cross-domain diagnostics further reveal that image substitution costs only <=6.5 pp on medical benchmarks versus 48-61 pp on general-domain tasks, situating the grounding gap that CGO targets. We discuss evaluation limitations openly including train/eval benchmark overlap and underpowered secondary metrics and release our framework, training code, and model weights to support reproducible grounding audits of medical VLMs.
Abstract（参考訳）: 大規模視覚言語モデル(VLM)は、医学的質問に対する回答に強い精度を報告しているが、それらが視覚的エビデンスから引き起こされたのか、あるいはテキストによるショートカットを悪用したのかは定かではない。本稿では,視覚的信頼スコア (VRS) や視覚幻覚率 (VHR) など,視覚的信頼スコア (VHR) を含む接地指標の集合を導出し,視覚的およびテキスト的貢献を,制御されたサロゲートによる入力画像に空白,ピクセルシャッフル,画像吸収,CLIP検索のハードネガティブを置換することにより,視覚的およびテキスト的貢献を分離する反ファクト評価フレームワークを提案する。さらに,CGO(Contrastive Grounding Objective)を用いて訓練したQwen2.5-VL-7Bの7BパラメータLORAファインチューンであるCoRAL(Contrastive Retrieval-Augmented Learning)についても紹介する。閉形式医療用VQAベンチマーク(PathVQA, PMC-VQA, SLAKE, VQA-RAD; n=400 total)を比較検討した結果、CoRALはマクロ精度を+6.7 pp (P(Delta>0)=0.988)改善し、マッチしたQwen2.5-VL-7Bベースに対してVHRを8.0 pp (P<0.001)削減した。クロスドメイン診断により、画像置換のコストは医療ベンチマークでは=6.5pp、一般ドメインでは48-61ppに過ぎず、CGOが目標とする接地ギャップを減らしていることが明らかとなった。本研究は,VLMの再現可能な接地監査を支援するため,ベンチマークのオーバーラップや二次指標のアンダーパワー化,フレームワーク,トレーニングコード,モデルウェイトのリリースなど,オープンな評価制限について論じる。

関連論文リスト

DobicVLM: Aligning Chest X-Ray Report Generation with Clinically-Grounded Programmatic Rewards via Group Relative Policy Optimization [0.4418222884390162]
我々は,MedGemma-4Bの教師付き微調整とグループ相対ポリシー最適化を組み合わせた視覚言語モデルであるDobicVLMを紹介する。我々のアプローチでは、構造検証、解剖学的チェックリスト、意味的類似性、長さ制約といった、解釈可能なルールベースの報酬コンポーネントを使用します。 DobicVLMはGemini 2.5 Flashよりも優れており、Gemini 2.5 FlashとMedGemma 4Bベースラインと比較して、印象精度(27.2%)と医療用語(86.5%)が最も高い。
論文参考訳（メタデータ） (2026-07-21T11:20:09Z)
A Controlled Audit of Pretraining Contamination in Public Medical Vision-Language Benchmarks [46.43161388634735]
医用視覚言語モデル(VLM)は、画像と質問応答ペアが何年も無料でダウンロードされている公開ベンチマークで評価される。 SLAKE-En,PathVQA,VQA-RAD,および4つの検出器ファミリを用いたOmniMedVQAミラーのオープンVLMを検査した。
論文参考訳（メタデータ） (2026-06-08T18:40:10Z)
A Vision-language Framework for Comparative Reasoning in Radiology [68.52471827773482]
我々は,放射線学的比較を実体認識のクロスイメージ推論問題として定式化する。我々は,日常的な画像とレポートのペアから得られた大規模比較画像資源を構築した。臨床類似症例の検索を制御可能なエンティティ対応ビジュアルエンコーダであるMedReCoを開発した。
論文参考訳（メタデータ） (2026-06-04T17:12:47Z)
Beyond Localization: A Comprehensive Diagnosis of Perspective-Conditioned Spatial Reasoning in MLLMs from Omnidirectional Images [52.50752250573993]
MLLM(Multimodal Large Language Models)は、視覚的知覚が強いが、視点の変化による空間の推論には限界がある。本研究では、この課題を全方位360度画像におけるパースペクティブ・コンディションド・スペース・推論(PCSR)として検討する。我々は2,600全方位画像から84,373組の質問応答対の診断ベンチマークであるPCSR-Benchを紹介する。
論文参考訳（メタデータ） (2026-05-12T17:11:17Z)
LiteMedCoT-VL: Parameter-Efficient Adaptation for Medical Visual Question Answering [1.0559587981237513]
235Bの教師モデルから2Bの学生モデルへの連鎖推論を伝達するパイプラインである LiteMedCoT-VL を紹介する。 PMC-VQAベンチマークでは、LiteMedCoT-VLは64.9%の精度で、ゼロショットのQwen3-VL-4Bベースラインの53.9%を11.0ポイント上回っている。
論文参考訳（メタデータ） (2026-05-10T07:21:33Z)
Auditing Frontier Vision-Language Models for Trustworthy Medical VQA: Grounding Failures, Format Collapse, and Domain Adaptation [4.177028541321909]
医療用VQAの5つの視覚言語モデル(VLM)を2つの信頼関連軸に沿って評価する。モデルは解剖学的および病理学的ターゲットを不十分にローカライズする。同じモデルをローカライズして回答するセルフグラウンドパイプラインは、VQAの精度を低下させる。
論文参考訳（メタデータ） (2026-04-30T11:11:47Z)
Robust Pre-Training of Medical Vision-and-Language Models with Domain-Invariant Multi-Modal Masked Reconstruction [0.0]
マスク付き視覚言語学習に目標を明示的に組み込んだ自己教師型事前学習フレームワークであるRobust Multi-Modal Masked Reconstruction (Robust-MMR)を提案する。 VQA-RAD, クロスドメイン画像テキスト分類 (MELINDA), 堅牢画像キャプチャ検索 (ROCO) などである。以上の結果から,事前トレーニング中にロバスト性を明確にモデル化することで,実世界展開における医療ビジョン言語表現の信頼性が向上することが示された。
論文参考訳（メタデータ） (2026-02-06T01:20:56Z)
Route, Retrieve, Reflect, Repair: Self-Improving Agentic Framework for Visual Detection and Linguistic Reasoning in Medical Imaging [3.6136448489318695]
医用イメージングを4つの協調エージェントに分解するエージェントフレームワークであるR4を提案する。 R4 は LLM-as-a-Judge のスコアを約 +1.7-2.5 で、mAP50 は 2.5-+3.5 の絶対点を強い単VLM ベースライン上で連続的に引き上げる。
論文参考訳（メタデータ） (2026-01-13T03:44:06Z)
S-Chain: Structured Visual Chain-of-Thought For Medicine [81.97605645734741]
S-Chainは,有界ボックスと構造化ビジュアルCoT(SV-CoT)を備えた,12,000のエキスパートアノテートされた医用画像の最初の大規模データセットである。データセットはさらに16言語をサポートし、幅広い多言語適用性のための合計700万VQAペアをサポートする。 S-Chainは、根拠のある医療推論のための新しいベンチマークを確立し、より信頼性が高く説明可能な医療ビジョン言語モデルへの道を開く。
論文参考訳（メタデータ） (2025-10-26T15:57:14Z)
Token-Level Inference-Time Alignment for Vision-Language Models [58.41370989069588]
VLM(Vision-Language Models)は、現代のマルチモーダルインテリジェンスの重要なバックボーンとなっている。本稿では,基本VLMを凍結し,その分布を近似する報酬モデルをトレーニングする軽量フレームワークTITAを提案する。推測中、暗黙の選好信号は報酬モデルと目標VLMの対数確率比として抽出され、密集した自己回帰フィードバックが得られる。
論文参考訳（メタデータ） (2025-10-20T09:58:03Z)
PMC-VQA: Visual Instruction Tuning for Medical Visual Question Answering [56.25766322554655]
MedVQA(Medicical Visual Question Answering)は、診断精度と医療提供を向上する重要な機会を提供する。本稿では,事前学習した視覚エンコーダの視覚情報を大規模言語モデルに整列させることにより,医用視覚理解のための生成モデルを提案する。 PMC-VQAで提案されたモデルをトレーニングし、VQA-RAD、SLAKE、Image-Clef 2019など、複数の公開ベンチマークで微調整する。
論文参考訳（メタデータ） (2023-05-17T17:50:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。