論文の概要: Knowing or Guessing? Robust Medical Visual Question Answering via Joint Consistency and Contrastive Learning

• arxiv url: http://arxiv.org/abs/2508.18687v1
• Date: Tue, 26 Aug 2025 05:21:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 17:42:38.687167
• Title: Knowing or Guessing? Robust Medical Visual Question Answering via Joint Consistency and Contrastive Learning
• Title（参考訳）: 知識と指導 : 共同一貫性とコントラスト学習によるロバストな医用視覚質問応答
• Authors: Songtao Jiang, Yuxi Chen, Sibo Song, Yan Zhang, Yeying Jin, Yang Feng, Jian Wu, Zuozhu Liu,
• Abstract要約: 医用視覚質問応答における不安定性について,現在の医用視覚言語モデル (Med-VLMs) を用いて検討した。 本稿では,知識適応型一貫性学習とバイアス認識型コントラスト学習を統合した一貫性・コントラスト学習(CCL)を提案する。 CCLは3つの人気のあるVQAベンチマークでSOTAのパフォーマンスを達成し、特にRoMedテストセットで解の一貫性を50%向上させる。
• 参考スコア（独自算出の注目度）: 34.6490677122246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In high-stakes medical applications, consistent answering across diverse question phrasings is essential for reliable diagnosis. However, we reveal that current Medical Vision-Language Models (Med-VLMs) exhibit concerning fragility in Medical Visual Question Answering, as their answers fluctuate significantly when faced with semantically equivalent rephrasings of medical questions. We attribute this to two limitations: (1) insufficient alignment of medical concepts, leading to divergent reasoning patterns, and (2) hidden biases in training data that prioritize syntactic shortcuts over semantic understanding. To address these challenges, we construct RoMed, a dataset built upon original VQA datasets containing 144k questions with variations spanning word-level, sentence-level, and semantic-level perturbations. When evaluating state-of-the-art (SOTA) models like LLaVA-Med on RoMed, we observe alarming performance drops (e.g., a 40\% decline in Recall) compared to original VQA benchmarks, exposing critical robustness gaps. To bridge this gap, we propose Consistency and Contrastive Learning (CCL), which integrates two key components: (1) knowledge-anchored consistency learning, aligning Med-VLMs with medical knowledge rather than shallow feature patterns, and (2) bias-aware contrastive learning, mitigating data-specific priors through discriminative representation refinement. CCL achieves SOTA performance on three popular VQA benchmarks and notably improves answer consistency by 50\% on the challenging RoMed test set, demonstrating significantly enhanced robustness. Code will be released.
• Abstract（参考訳）: ハイテイクな医学的応用においては、多様な質問文を一貫した回答が信頼性の高い診断に不可欠である。 しかし,現在の医療ビジョン・ランゲージモデル (Med-VLMs) では, 意味論的に等価な医療質問の言い換えに直面すると, 回答が著しく変動するため, 医療視覚質問応答の脆弱性を示すことが明らかとなった。 本研究は,(1)医学的概念の整合性に乏しいこと,(2)意味的理解よりも統語的ショートカットを優先する訓練データに隠れバイアスが生じること,の2つを特徴とする。 これらの課題に対処するため、私たちは、単語レベル、文レベル、意味レベルの摂動にまたがる144kの質問を含む、オリジナルのVQAデータセット上に構築されたデータセットであるRoMedを構築した。 RoMedのLLaVA-Medのような最先端(SOTA)モデルを評価すると、従来のVQAベンチマークと比較して警告的なパフォーマンス低下(例えば、リコールの40倍の低下)が見られ、重大なロバスト性ギャップが明らかになる。 このギャップを埋めるために,(1)知識と知識の整合性学習,(2)偏見を意識したコントラスト学習,2)識別表現の洗練によるデータ固有の事前の緩和,という2つの重要な要素を統合した一貫性・コントラスト学習(CCL)を提案する。 CCLは3つの人気のあるVQAベンチマークでSOTAのパフォーマンスを達成し、特に難解なRoMedテストセットで解の一貫性を50%向上させ、ロバスト性を大幅に向上させた。 コードはリリースされる。

関連論文リスト

• GEMeX-ThinkVG: Towards Thinking with Visual Grounding in Medical VQA via Reinforcement Learning [50.94508930739623]
  医学的視覚的質問応答は、医学的イメージに基づいた自然言語的質問にモデルで答えることによって、臨床的な意思決定を支援することを目的としている。 現状の手法は, 信頼性の限界や解釈可能性の低下に悩まされており, 臨床医や患者がモデル生成の回答を理解し, 信頼する能力が損なわれている。 この研究はまず、回答生成を中間的推論ステップに分解するThinking with Visual Groundingデータセットを提案する。 本稿では,強化学習のための新たな報奨機構を導入し,モデル推論プロセスと最終解の整合性を改善した。
  論文  参考訳（メタデータ） (2025-06-22T08:09:58Z)
• CAPO: Reinforcing Consistent Reasoning in Medical Decision-Making [42.28216499263317]
  Med-Zero-17Kは、純粋なRLベースのトレーニングのためのキュレートされたデータセットであり、30以上の医療画像モダリティと24の臨床的タスクを含んでいる。 本稿では,Med-VLM のための大規模 RL フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-15T13:42:46Z)
• Structure Causal Models and LLMs Integration in Medical Visual Question Answering [42.54219413108453]
  MedVQAタスクのための因果推論フレームワークを提案する。 視覚的要素とテキスト的要素の相互作用を表す新しい因果グラフ構造を最初に導入する。 本手法は複雑な医療データに面した真の因果相関を実現する。
  論文  参考訳（メタデータ） (2025-05-05T14:57:02Z)
• Fact or Guesswork? Evaluating Large Language Models' Medical Knowledge with Structured One-Hop Judgments [108.55277188617035]
  大規模言語モデル(LLM)は、様々な下流タスクドメインで広く採用されているが、実際の医学的知識を直接呼び起こし、適用する能力は、まだ探索されていない。 標準化された語彙と知識グラフの包括的なリポジトリであるUMLS(Unified Medical Language System)から派生したデータセットであるMKJ(Messical Knowledge Judgment dataset)を紹介する。 バイナリ分類フレームワークを通じて、MKJは、簡潔なワンホップ文の妥当性を評価することによって、LCMが基本的な医学的事実を把握できることを評価する。
  論文  参考訳（メタデータ） (2025-02-20T05:27:51Z)
• RULE: Reliable Multimodal RAG for Factuality in Medical Vision Language Models [35.60385437194243]
  現在の医療用大規模視覚言語モデル(Med-LVLM)は、しばしば現実の問題に遭遇する。 外部知識を利用するRAGは、これらのモデルの現実的精度を向上させることができるが、2つの大きな課題を提起する。 本稿では,2つのコンポーネントからなるRULEを提案する。まず,検索したコンテキストの選択を通じて事実性リスクを制御するための有効な戦略を提案する。 次に、検索したコンテキストへの過度な依存がエラーを引き起こしたサンプルに基づいて、選好データセットをキュレートしてモデルを微調整する。
  論文  参考訳（メタデータ） (2024-07-06T16:45:07Z)
• Uncertainty-aware Medical Diagnostic Phrase Identification and Grounding [72.18719355481052]
  MRG(Messical Report Grounding)と呼ばれる新しい課題について紹介する。 MRGは医療報告から診断フレーズとその対応する接地箱を直接エンドツーエンドで識別することを目的としている。 マルチモーダルな大規模言語モデルを用いて診断フレーズを予測する,堅牢で信頼性の高いフレームワークである uMedGround を提案する。
  論文  参考訳（メタデータ） (2024-04-10T07:41:35Z)
• Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models [49.95603725998561]
  本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。 具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
  論文  参考訳（メタデータ） (2023-10-04T21:57:09Z)
• PMC-VQA: Visual Instruction Tuning for Medical Visual Question Answering [56.25766322554655]
  MedVQA(Medicical Visual Question Answering)は、診断精度と医療提供を向上する重要な機会を提供する。 本稿では,事前学習した視覚エンコーダの視覚情報を大規模言語モデルに整列させることにより,医用視覚理解のための生成モデルを提案する。 PMC-VQAで提案されたモデルをトレーニングし、VQA-RAD、SLAKE、Image-Clef 2019など、複数の公開ベンチマークで微調整する。
  論文  参考訳（メタデータ） (2023-05-17T17:50:16Z)
• Medical Question Summarization with Entity-driven Contrastive Learning [12.008269098530386]
  本稿では,エンティティ駆動型コントラスト学習(ECL)を用いた新しい医療質問要約フレームワークを提案する。 ECLは、しばしば質問される質問(FAQ)に医療機関を採用し、硬い負のサンプルを生成する効果的なメカニズムを考案している。 iCliniqデータセットの33%の重複率など、いくつかのMQAデータセットが深刻なデータ漏洩問題に悩まされていることが分かりました。
  論文  参考訳（メタデータ） (2023-04-15T00:19:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。