論文の概要: CAST: Mitigating Object Hallucination in Large Vision-Language Models via Caption-Guided Visual Attention Steering

• arxiv url: http://arxiv.org/abs/2605.04641v1
• Date: Wed, 06 May 2026 08:32:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.728008
• Title: CAST: Mitigating Object Hallucination in Large Vision-Language Models via Caption-Guided Visual Attention Steering
• Title（参考訳）: CAST:Caption-Guided Visual Attention Steeringによる大規模視覚言語モデルにおける物体幻覚の緩和
• Abstract要約: LVLM(Large Vision-Language Models)は、視覚情報から逸脱するコンテンツを生成し、物体の幻覚を引き起こす。 本稿では,CAST (Caption-Guided Visual Attention Steering) を提案する。 CASTは、広く使われている5つのLVLMと5つのベンチマークで、オブジェクト幻覚を平均6.03%減少させる。
• 参考スコア（独自算出の注目度）: 88.89529097037162
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although Large Vision-Language Models (LVLMs) have demonstrated remarkable performance on downstream tasks, they frequently produce contents that deviate from visual information, leading to object hallucination. To tackle this, recent works mostly depend on expensive manual annotations and training cost, or decoding strategies which significantly increase inference time. In this work, we observe that LVLMs' attention to visual information is significantly enhanced when answering caption queries compared to non-caption queries. Inspired by this phenomenon, we propose Caption-guided Visual Attention Steering (CAST), a training-free, plug-and-play hallucination mitigation method that leverages the attention activation pattern corresponding to caption queries to enhance LVLMs' visual perception capability. Specifically, we use probing techniques to identify attention heads that are highly sensitive to caption queries and estimate optimized steering directions for their outputs. This steering strengthens LVLM's fine-grained visual perception capabilities, thereby effectively mitigating object hallucination. CAST reduced object hallucination by an average of 6.03% across five widely used LVLMs and five benchmarks including both discriminative and generative tasks, demonstrating state-of-the-art performance while adding little inference cost and preserving other foundational capabilities.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、下流のタスクにおいて顕著な性能を示すが、視覚情報から逸脱したコンテンツがしばしば生成され、物体の幻覚につながる。 これに取り組むために、最近の研究は主に高価なマニュアルアノテーションとトレーニングコスト、あるいは推論時間を大幅に増加させるデコード戦略に依存している。 本研究では,LVLMの視覚情報に対する注目度が,ノンキャプションクエリと比較してキャプションクエリに回答する場合に著しく向上することが観察された。 この現象にインスパイアされたCAST(Caption-Guided Visual Attention Steering)は,キャプションクエリに対応するアテンションアクティベーションパターンを利用して,LVLMの視覚知覚能力を高める訓練自由でプラグアンドプレイの幻覚軽減手法である。 具体的には、探索手法を用いて、キャプションクエリに非常に敏感なアテンションヘッドを特定し、出力に対して最適なステアリング方向を推定する。 このステアリングは、LVLMの微細な視覚知覚能力を強化し、オブジェクト幻覚を効果的に緩和する。 CASTは5つの広く使用されているLVLMと5つのベンチマークで平均6.03%のオブジェクト幻覚を減らし、識別的および生成的タスクを含む5つのベンチマークを行った。

関連論文リスト

• When Prompts Override Vision: Prompt-Induced Hallucinations in LVLMs [54.411658510110215]
  本研究では,異なる要因が幻覚を誘発する程度をよりよく理解するために,HauScopeを提案する。 HalluVL-DPOは、市販のLVLMをより視覚的な応答に向けて微調整するためのフレームワークである。
  論文  参考訳（メタデータ） (2026-04-23T17:54:36Z)
• Tell Model Where to Look: Mitigating Hallucinations in MLLMs by Vision-Guided Attention [12.491288365811657]
  VGA(Vision-Guided Attention)は、視覚トークンのセマンティックな内容を活用することで、まず正確な視覚的接地を構築する訓練自由な手法である。 画像キャプションにおいて、VGAは、既に記述されている領域を抑えることにより、生成中にこのガイダンスを動的に洗練する。 VGAでは、各トークンは1つのフォワードパスしか実行せず、無視できる遅延オーバーヘッドは4.36%である。
  論文  参考訳（メタデータ） (2025-11-25T07:58:57Z)
• Modality Bias in LVLMs: Analyzing and Mitigating Object Hallucination via Attention Lens [0.0]
  大規模視覚言語モデル (LVLM) は、顕著なマルチモーダル理解と推論能力を示した。 LVLMはテキストのプロンプトと大きな言語モデルの内部知識に過度に依存し、視覚的手がかりと矛盾する記述を生成する傾向がある。 物体幻覚を緩和するためのトレーニング不要な手法を提案する。
  論文  参考訳（メタデータ） (2025-08-04T13:40:59Z)
• CAI: Caption-Sensitive Attention Intervention for Mitigating Object Hallucination in Large Vision-Language Models [60.0300765815417]
  LVLM(Large Vision-Language Models)は、視覚情報から逸脱するコンテンツをしばしば生成し、物体の幻覚を引き起こす。 本稿では,CAI (Caption-sensitive Attention Intervention) を提案する。
  論文  参考訳（メタデータ） (2025-06-30T07:52:36Z)
• Cracking the Code of Hallucination in LVLMs with Vision-aware Head Divergence [69.86946427928511]
  大型視覚言語モデル(LVLM)における幻覚を駆動する内部メカニズムについて検討する。 本稿では,視覚的コンテキストに対する注目ヘッド出力の感度を定量化する指標として,視覚認識型頭部偏差(VHD)を紹介する。 視覚認識型頭部強化(VHR)は,視覚認識型頭部機能を高めることで幻覚を緩和するための訓練不要なアプローチである。
  論文  参考訳（メタデータ） (2024-12-18T15:29:30Z)
• Visual Description Grounding Reduces Hallucinations and Boosts Reasoning in LVLMs [52.497823009176074]
  LVLM(Large Vision-Language Models)はしばしば、幻覚として知られる事実情報を誤認する応答を生成する。 視覚的知覚の向上とLVLMの推論能力の向上を目的とした学習自由度手法であるVisual Description Grounded Decoding (VDGD)を紹介した。
  論文  参考訳（メタデータ） (2024-05-24T16:21:59Z)
• Mitigating Object Hallucination in Large Vision-Language Models via Image-Grounded Guidance [51.30560006045442]
  Image-gRounded guIdaNcE (MARINE)は、トレーニングフリーかつAPIフリーのフレームワークである。 MARINEは、LVLMに画像グラウンドガイダンスを導入することにより、推論中の物体の幻覚を効果的かつ効率的に低減する。 私たちのフレームワークの柔軟性は、さらに複数のビジョンモデルの統合を可能にし、より信頼性が高く堅牢なオブジェクトレベルのガイダンスを可能にします。
  論文  参考訳（メタデータ） (2024-02-13T18:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。