論文の概要: VDGD: Mitigating LVLM Hallucinations in Cognitive Prompts by Bridging the Visual Perception Gap
- arxiv url: http://arxiv.org/abs/2405.15683v1
- Date: Fri, 24 May 2024 16:21:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 13:20:55.761971
- Title: VDGD: Mitigating LVLM Hallucinations in Cognitive Prompts by Bridging the Visual Perception Gap
- Title（参考訳）: VDGD:視覚知覚ギャップを埋めることによる認知的プロンプトにおけるLVLM幻覚の緩和
- Authors: Sreyan Ghosh, Chandra Kiran Reddy Evuru, Sonal Kumar, Utkarsh Tyagi, Oriol Nieto, Zeyu Jin, Dinesh Manocha,
- Abstract要約: 我々は幻覚の詳細な分析を行い、LVLMが幻覚をいかに、いつ、どのように、どのように、どのように、そして、どのようにして、新しい洞察を導き出す。
この欠点を克服するために、幻覚を緩和するためのシンプルで頑健でトレーニングのないVisual Description Grounded Decoding (VDGD)を提案する。
- 参考スコア（独自算出の注目度）: 52.497823009176074
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent interest in Large Vision-Language Models (LVLMs) for practical applications is moderated by the significant challenge of hallucination or the inconsistency between the factual information and the generated text. In this paper, we first perform an in-depth analysis of hallucinations and discover several novel insights about how and when LVLMs hallucinate. From our analysis, we show that: (1) The community's efforts have been primarily targeted towards reducing hallucinations related to visual recognition (VR) prompts (e.g., prompts that only require describing the image), thereby ignoring hallucinations for cognitive prompts (e.g., prompts that require additional skills like reasoning on contents of the image). (2) LVLMs lack visual perception, i.e., they can see but not necessarily understand or perceive the input image. We analyze responses to cognitive prompts and show that LVLMs hallucinate due to a perception gap: although LVLMs accurately recognize visual elements in the input image and possess sufficient cognitive skills, they struggle to respond accurately and hallucinate. To overcome this shortcoming, we propose Visual Description Grounded Decoding (VDGD), a simple, robust, and training-free method for alleviating hallucinations. Specifically, we first describe the image and add it as a prefix to the instruction. Next, during auto-regressive decoding, we sample from the plausible candidates according to their KL-Divergence (KLD) to the description, where lower KLD is given higher preference. Experimental results on several benchmarks and LVLMs show that VDGD improves significantly over other baselines in reducing hallucinations. We also propose VaLLu, a benchmark for the comprehensive evaluation of the cognitive capabilities of LVLMs.
- Abstract（参考訳）: 近年のLVLM(Large Vision-Language Models)への関心は、幻覚の重大な課題や、事実情報と生成されたテキストの矛盾によって中和されている。
本稿では,まず幻覚の詳細な分析を行い,LVLMが幻覚をどのように,いつ,どのように,どのように,どのように,どのように,どのように,どのようにして,どのように,どのように,どのように,どのように,どのようにして、どのようにして、どのように,幻覚するかについてのいくつかの新しい知見を見出す。
本分析から, コミュニティの取り組みは, 視覚認識(VR)のプロンプト(例えば, 画像の記述のみを必要とするプロンプト)を減らし, 認知的プロンプトの幻覚を無視すること(例えば, 画像の内容の推論など追加のスキルを必要とするプロンプト)を主目的としてきた。
2)LVLMは視覚的知覚を欠いている。
LVLMは入力画像の視覚的要素を正確に認識し、十分な認知能力を有するが、正確な反応と幻覚に苦しむ。
この欠点を克服するために、幻覚を緩和するためのシンプルで頑健でトレーニングのないVisual Description Grounded Decoding (VDGD)を提案する。
具体的には、まずイメージを記述し、命令にプレフィックスとして追加する。
次に, 自己回帰復号の際には, KL-Divergence (KLD) に基づく可塑性候補から, より低いKLDが優先される記述までをサンプリングする。
いくつかのベンチマークとLVLMによる実験結果から、VDGDは幻覚の減少において他のベースラインよりも大幅に改善されていることが示された。
また,LVLMの認知能力を総合的に評価するためのベンチマークであるVaLLuを提案する。
関連論文リスト
- Devils in Middle Layers of Large Vision-Language Models: Interpreting, Detecting and Mitigating Object Hallucinations via Attention Lens [7.806633929976787]
LVLM(Large Vision-Language Models)の幻覚は、その信頼性を著しく損なう。
本稿では,LVLMが視覚情報をどのように処理し,その処理が幻覚を引き起こすかについて述べる。
本稿では,様々な頭部に情報を統合することで視覚的注意を調節する簡易な推論時間手法を提案する。
論文 参考訳（メタデータ） (2024-11-23T03:40:05Z) - CATCH: Complementary Adaptive Token-level Contrastive Decoding to Mitigate Hallucinations in LVLMs [74.36850397755572]
CATCHは、未解決のシナリオにおいて、きめ細かい特徴知覚と累積幻覚を減少させる視覚的欠陥に関連する問題に対処する。
これは、特定のデータや事前知識を必要とせず、様々な視覚的質問応答タスクに適用でき、追加のトレーニングを必要とせず、新しいタスクにしっかりと一般化する。
論文 参考訳（メタデータ） (2024-11-19T18:27:31Z) - A Survey of Hallucination in Large Visual Language Models [48.794850395309076]
幻覚の存在は、様々な分野におけるLVLMの可能性と実用性を制限している。
LVLMの構造と幻覚の発生の主な原因を紹介する。
LVLMの幻覚評価ベンチマークについて述べる。
論文 参考訳（メタデータ） (2024-10-20T10:58:58Z) - Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models? [53.89380284760555]
大型視覚言語モデル(LVLM)は、画像に見つからない概念に言及するキャプションを生成する。
これらの幻覚は、LVLMの信頼性を損なうものであり、ユビキタス採用の主な障害であることは間違いない。
最近の研究は、画像領域やオブジェクトをテキストスパンに明示的にアライメントする、接地目的の追加は、LVLM幻覚の量を減らすことを示唆している。
論文 参考訳（メタデータ） (2024-06-20T16:56:11Z) - MetaToken: Detecting Hallucination in Image Descriptions by Meta Classification [1.3654846342364308]
トークンレベルの幻覚を無視可能なコストで検出する軽量バイナリ分類器であるMetaTokenを紹介する。
統計的解析から,これまでの研究で注目されていたLVLMの幻覚の要因を明らかにした。
提案手法の有効性を示す4種類のLVLMについて検討した。
論文 参考訳（メタデータ） (2024-05-29T15:28:42Z) - Pensieve: Retrospect-then-Compare Mitigates Visual Hallucination [14.25488878224697]
本稿では、類似した視覚幻覚を利用する訓練不要の手法であるPensieveを提案する。
Pensieveは、抽出されたスコアを適応的にスケーリングすることで、視覚とテキストの両方のブランチからエラーに対処する効果を緩和する。
論文 参考訳（メタデータ） (2024-03-21T13:49:42Z) - A Survey on Hallucination in Large Vision-Language Models [18.540878498840435]
LVLM(Large Vision-Language Models)は、実践的な実装の可能性から、AIの世界において注目を集めている。
しかし,「幻覚」は,現実の視覚的内容とそれに対応するテキスト生成のミスアライメントが,LVLMを活用する上で大きな課題となる。
我々は,LVLM関連幻覚を解明し,今後の緩和を促進するために検討する。
論文 参考訳（メタデータ） (2024-02-01T00:33:21Z) - Analyzing and Mitigating Object Hallucination in Large Vision-Language Models [110.12460299261531]
大規模視覚言語モデル(LVLM)は、人間の言語で視覚情報を理解する際、顕著な能力を示した。
LVLMは依然として物体幻覚に悩まされており、画像に実際に存在しない物体を含む記述を生成するという問題である。
そこで我々は,LVLMの幻覚を再現するアルゴリズム LVLM Hallucination Revisor (LURE) を提案する。
論文 参考訳（メタデータ） (2023-10-01T18:10:53Z) - Evaluating Object Hallucination in Large Vision-Language Models [122.40337582958453]
本研究は,大規模視覚言語モデル(LVLM)の物体幻覚に関する最初の体系的研究である。
LVLMは、記述中の対象画像と矛盾しないオブジェクトを生成する傾向がある。
対象の幻覚を評価するために,POPEと呼ばれるポーリングに基づくクエリ手法を提案する。
論文 参考訳（メタデータ） (2023-05-17T16:34:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。