論文の概要: VGS-Decoding: Visual Grounding Score Guided Decoding for Hallucination Mitigation in Medical VLMs

• arxiv url: http://arxiv.org/abs/2603.20314v1
• Date: Thu, 19 Mar 2026 18:26:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:38.83131
• Title: VGS-Decoding: Visual Grounding Score Guided Decoding for Hallucination Mitigation in Medical VLMs
• Title（参考訳）: VGS-Decoding:医療用VLMにおける幻覚除去のための視覚接地スコアガイドデコーディング
• Authors: Govinda Kolli, Adinath Madhavrao Dukre, Behzad Bozorgtabar, Dwarikanath Mahapatra, Imran Razzak,
• Abstract要約: 推論中の幻覚を軽減するために,視覚的グラウンドニングスコアガイドデコーディング(VGS-Decoding)を提案する。 我々の重要な洞察は、幻覚トークンが視覚情報の劣化時にその確率を維持または増加させることである。 復号中,幻覚を抑えながら視覚的に接地したトークンを増幅することにより,確率を向上する。
• 参考スコア（独自算出の注目度）: 29.648561546849766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Medical Vision-Language Models (VLMs) often hallucinate by generating responses based on language priors rather than visual evidence, posing risks in clinical applications. We propose Visual Grounding Score Guided Decoding (VGS-Decoding), a training-free method to mitigate hallucinations during inference. Our key insight is that hallucinated tokens maintain or increase their probability when visual information is degraded, while visually grounded tokens decrease in probability. We introduce the Visual Grounding Score (VGS), which measures each token's visual dependency by comparing distributions from original and distorted images. During decoding, we reweight probabilities by amplifying visually grounded tokens while suppressing hallucinations. Unlike fixed-weight contrastive methods, VGS-Decoding provides per-token adaptive control. Experiments on MIMIC-Diff-VQA and VQA-RAD across LLaVA-Med, CheXagent, and MedGemma demonstrate consistent improvements, with up to +9.12% overall gain and $+8.98\%$ in open-ended recall, while introducing only $2\times$ inference overhead and no additional training, making it practical for clinical deployment. Upon acceptance, code will be released publicly to facilitate reproducibility.
• Abstract（参考訳）: 医療ビジョンランゲージモデル(VLM)は、視覚的証拠ではなく言語優先に基づいて反応を生成し、臨床応用のリスクを訴えることによって幻覚を引き起こすことが多い。 推論中の幻覚を緩和する訓練不要なVisual Grounding Score Guided Decoding (VGS-Decoding)を提案する。 我々の重要な洞察は、幻覚トークンは視覚情報が劣化した時にその確率を維持または増加させ、一方、視覚的に接地されたトークンは確率を低下させることである。 元の画像と歪んだ画像の分布を比較することで,各トークンの視覚的依存度を測定するビジュアルグラウンドスコア(VGS)を導入する。 復号中,幻覚を抑えながら視覚的に接地したトークンを増幅することにより,確率を向上する。 固定ウェイトコントラスト法とは異なり、VGS-Decodingはトーケン毎の適応制御を提供する。 MIMIC-Diff-VQAとVQA-RADをLLaVA-Med、CheXagent、MedGemmaで行った実験では、合計で+9.12%、オープンエンドリコールで$+8.98\%という一貫した改善が示された。 承認されたコードは、再現性を促進するために公開される。

関連論文リスト

• Med-VCD: Mitigating Hallucination for Medical Large Vision Language Models through Visual Contrastive Decoding [0.8431877864777443]
  医用LVLMにおける幻覚を、二次復号の時間的オーバーヘッドを伴わずに緩和する、疎視的復号法であるMed-VCDを導入する。 以上の結果から,Med-VCDは平均13%,幻覚精度は6%向上した。
  論文  参考訳（メタデータ） (2025-12-01T17:40:03Z)
• Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
  VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。 本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:22Z)
• Through the Magnifying Glass: Adaptive Perception Magnification for Hallucination-Free VLM Decoding [12.82009632507056]
  既存の視覚言語モデル(VLM)はしばしば視覚幻覚に悩まされ、生成した応答は視覚入力に基づかない不正確さを含む。 本稿では、注意に基づいて関連した視覚トークンを反復的に分離し、対応する領域を拡大する新しい視覚的復号化手法であるPerception Magnifier (PM)を提案する。
  論文  参考訳（メタデータ） (2025-03-13T09:14:11Z)
• VaLiD: Mitigating the Hallucination of Large Vision Language Models by Visual Layer Fusion Contrastive Decoding [38.23310445372371]
  LVLM(Large Vision-Language Models)はマルチモーダルタスク推論において顕著な機能を示す。 彼らはしばしば、幻覚として知られる視覚的内容が正確に反映されていないように思われる応答を生成する。 近年のアプローチでは、推論段階における復号化戦略を調整することで幻覚を緩和するための訓練不要な手法が導入されている。 textbfVisutextbfal textbfLayer Fustextbfion textbfD
  論文  参考訳（メタデータ） (2024-11-24T13:42:02Z)
• CATCH: Complementary Adaptive Token-level Contrastive Decoding to Mitigate Hallucinations in LVLMs [74.36850397755572]
  CATCHは、未解決のシナリオにおいて、きめ細かい特徴知覚と累積幻覚を減少させる視覚的欠陥に関連する問題に対処する。 これは、特定のデータや事前知識を必要とせず、様々な視覚的質問応答タスクに適用でき、追加のトレーニングを必要とせず、新しいタスクにしっかりと一般化する。
  論文  参考訳（メタデータ） (2024-11-19T18:27:31Z)
• Visual Description Grounding Reduces Hallucinations and Boosts Reasoning in LVLMs [52.497823009176074]
  LVLM(Large Vision-Language Models)はしばしば、幻覚として知られる事実情報を誤認する応答を生成する。 視覚的知覚の向上とLVLMの推論能力の向上を目的とした学習自由度手法であるVisual Description Grounded Decoding (VDGD)を紹介した。
  論文  参考訳（メタデータ） (2024-05-24T16:21:59Z)
• Multi-Modal Hallucination Control by Visual Information Grounding [121.6983694815504]
  本稿では,VLM(Generative Vision-Language Models)が,入力画像に常に接するとは限らない,可聴性のあるテキスト応答を生成する傾向があることを示す。 即時増幅のための新しいサンプリング手法であるM3ID(Multi-Modal Mutual-Information Decoding)を導入する。 M3IDは、言語に対する参照画像の影響を増幅し、視覚的プロンプトと高い相互情報を持つトークンの生成を優先する。
  論文  参考訳（メタデータ） (2024-03-20T22:05:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。