論文の概要: Visual Description Grounding Reduces Hallucinations and Boosts Reasoning in LVLMs
- arxiv url: http://arxiv.org/abs/2405.15683v2
- Date: Sat, 12 Oct 2024 06:17:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-15 15:05:57.548376
- Title: Visual Description Grounding Reduces Hallucinations and Boosts Reasoning in LVLMs
- Title(参考訳): 視覚的記述グラウンドディングはLVLMの幻覚を減らし、推論を後押しする
- Authors: Sreyan Ghosh, Chandra Kiran Reddy Evuru, Sonal Kumar, Utkarsh Tyagi, Oriol Nieto, Zeyu Jin, Dinesh Manocha,
- Abstract要約: LVLM(Large Vision-Language Models)はしばしば、幻覚として知られる事実情報を誤認する応答を生成する。
視覚的知覚の向上とLVLMの推論能力の向上を目的とした学習自由度手法であるVisual Description Grounded Decoding (VDGD)を紹介した。
- 参考スコア(独自算出の注目度): 52.497823009176074
- License:
- Abstract: Large Vision-Language Models (LVLMs) often produce responses that misalign with factual information, a phenomenon known as hallucinations. While hallucinations are well-studied, the exact causes behind them remain underexplored. In this paper, we first investigate the root causes of hallucinations in LVLMs. Our findings reveal that existing mitigation techniques primarily reduce hallucinations for visual recognition prompts-those that require simple descriptions of visual elements-but fail for cognitive prompts that demand deliberate reasoning. We identify the core issue as a lack of true visual perception in LVLMs: although they can accurately recognize visual elements, they struggle to fully interpret these elements in the context of the input prompt and effectively link this recognition to their internal knowledge, which is critical for reasoning. To address this gap, we introduce Visual Description Grounded Decoding (VDGD), a simple, robust, and training-free method designed to enhance visual perception and improve reasoning capabilities in LVLMs. VDGD works by first generating a detailed description of the image and appending it as a prefix to the instruction. During response generation, tokens are sampled based on their KL divergence to the description, favoring candidates with lower divergence. Experimental results on multiple visual reasoning benchmarks and LVLMs demonstrate that VDGD consistently outperforms existing baselines 2% - 33%. Finally, we introduce VaLLu, a benchmark designed for comprehensive evaluation of the cognitive capabilities of LVLMs.
- Abstract(参考訳): LVLM(Large Vision-Language Models)はしばしば、幻覚として知られる事実情報を誤認する応答を生成する。
幻覚はよく研究されているが、それらの背後にある正確な原因は未解明のままである。
本稿ではまず,LVLMにおける幻覚の根本原因について検討する。
既存の緩和技術は、視覚要素の簡単な記述を必要とする視覚的認識プロンプトの幻覚を主に軽減するが、意図的な推論を要求する認知的プロンプトには失敗する。
視覚的要素を正確に認識することはできるが、入力プロンプトの文脈でこれらの要素を完全に解釈することは困難であり、この認識を内部知識に効果的に関連付けることは、推論に不可欠である。
このギャップに対処するために,LVLMにおける視覚知覚の向上と推論能力の向上を目的とした,シンプルで堅牢で,トレーニングのないVisual Description Grounded Decoding (VDGD)を導入する。
VDGDはまずイメージの詳細な記述を生成し、命令にプレフィックスとして付加することで機能する。
応答生成中、トークンはKLの発散に基づいてサンプル化され、発散率の低い候補が好まれる。
複数の視覚的推論ベンチマークとLVLMの実験結果は、VDGDが既存のベースラインの2%から33%を一貫して上回っていることを示している。
最後に,LVLMの認知能力を総合的に評価するためのベンチマークであるVaLLuを紹介する。
関連論文リスト
- Investigating and Mitigating the Multimodal Hallucination Snowballing in Large Vision-Language Models [33.19894606649144]
視覚情報を人間の言語で理解する手法は進歩しているが、LVLM(Large Vision-Language Models)は多モード幻覚に悩まされている。
生成した幻覚に遭遇する際のLVLMの挙動を評価するためのMMHalballというフレームワークを提案する。
本稿では,LVLMの出力分布を残差視覚入力から導出した値で修正する,Residual Visual Decodingと呼ばれるトレーニング不要な手法を提案する。
論文 参考訳(メタデータ) (2024-06-30T03:04:11Z) - Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models? [53.89380284760555]
大型視覚言語モデル(LVLM)は、画像に見つからない概念に言及するキャプションを生成する。
これらの幻覚は、LVLMの信頼性を損なうものであり、ユビキタス採用の主な障害であることは間違いない。
最近の研究は、画像領域やオブジェクトをテキストスパンに明示的にアライメントする、接地目的の追加は、LVLM幻覚の量を減らすことを示唆している。
論文 参考訳(メタデータ) (2024-06-20T16:56:11Z) - Pensieve: Retrospect-then-Compare Mitigates Visual Hallucination [14.25488878224697]
我々はPensieveを提案する。Pensieveは、画像間で類似した視覚幻覚が生じるという観察にインスパイアされたトレーニング不要の手法である。
推論中、PensieveはMLLMに対して、関連する画像を参照として振り返り、テストイメージと比較することを可能にする。
Whoops, MME, POPE, LLaVA Benchの実験は、視覚幻覚の緩和におけるPensieveの有効性を示した。
論文 参考訳(メタデータ) (2024-03-21T13:49:42Z) - A Survey on Hallucination in Large Vision-Language Models [18.540878498840435]
LVLM(Large Vision-Language Models)は、実践的な実装の可能性から、AIの世界において注目を集めている。
しかし,「幻覚」は,現実の視覚的内容とそれに対応するテキスト生成のミスアライメントが,LVLMを活用する上で大きな課題となる。
我々は,LVLM関連幻覚を解明し,今後の緩和を促進するために検討する。
論文 参考訳(メタデータ) (2024-02-01T00:33:21Z) - Hallucination Augmented Contrastive Learning for Multimodal Large
Language Model [53.65682783591723]
マルチモーダル大規模言語モデル(MLLM)は、自然言語と視覚情報を効率的に統合し、マルチモーダルタスクを処理できることが示されている。
しかし、MLLMは幻覚の基本的な限界に直面しており、誤った情報や偽情報を生成する傾向がある。
本稿では,MLLMにおける幻覚を表現学習の新たな視点から論じる。
論文 参考訳(メタデータ) (2023-12-12T04:05:15Z) - Analyzing and Mitigating Object Hallucination in Large Vision-Language Models [110.12460299261531]
大規模視覚言語モデル(LVLM)は、人間の言語で視覚情報を理解する際、顕著な能力を示した。
LVLMは依然として物体幻覚に悩まされており、画像に実際に存在しない物体を含む記述を生成するという問題である。
そこで我々は,LVLMの幻覚を再現するアルゴリズム LVLM Hallucination Revisor (LURE) を提案する。
論文 参考訳(メタデータ) (2023-10-01T18:10:53Z) - Evaluation and Analysis of Hallucination in Large Vision-Language Models [49.19829480199372]
LVLM(Large Vision-Language Models)は近年大きな成功を収めている。
LVLMは今でも幻覚に悩まされている。
幻覚とは、視覚入力に存在しないLVLMの応答の情報を指す。
論文 参考訳(メタデータ) (2023-08-29T08:51:24Z) - Evaluating Object Hallucination in Large Vision-Language Models [122.40337582958453]
本研究は,大規模視覚言語モデル(LVLM)の物体幻覚に関する最初の体系的研究である。
LVLMは、記述中の対象画像と矛盾しないオブジェクトを生成する傾向がある。
対象の幻覚を評価するために,POPEと呼ばれるポーリングに基づくクエリ手法を提案する。
論文 参考訳(メタデータ) (2023-05-17T16:34:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。