論文の概要: DAMRO: Dive into the Attention Mechanism of LVLM to Reduce Object Hallucination
- arxiv url: http://arxiv.org/abs/2410.04514v1
- Date: Sun, 06 Oct 2024 15:12:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-08 18:01:19.907693
- Title: DAMRO: Dive into the Attention Mechanism of LVLM to Reduce Object Hallucination
- Title(参考訳): DAMRO:LVLMの注意機構の解明と幻覚の低減
- Authors: Xuan Gong, Tianshi Ming, Xinpeng Wang, Zhihua Wei,
- Abstract要約: 画像トークン上でのLLM(Large Language Model)デコーダの注意分布は,視覚的エンコーダと非常に一致していることがわかった。
我々は,D$ive を$A$ttention $M$echanism of LVLM に変換する新しいトレーニングフリー戦略 DAMRO を提案する。
- 参考スコア(独自算出の注目度): 11.845711223575462
- License:
- Abstract: Despite the great success of Large Vision-Language Models (LVLMs), they inevitably suffer from hallucination. As we know, both the visual encoder and the Large Language Model (LLM) decoder in LVLMs are Transformer-based, allowing the model to extract visual information and generate text outputs via attention mechanisms. We find that the attention distribution of LLM decoder on image tokens is highly consistent with the visual encoder and both distributions tend to focus on particular background tokens rather than the referred objects in the image. We attribute to the unexpected attention distribution to an inherent flaw in the visual encoder itself, which misguides LLMs to over emphasize the redundant information and generate object hallucination. To address the issue, we propose DAMRO, a novel training-free strategy that $D$ive into $A$ttention $M$echanism of LVLM to $R$educe $O$bject Hallucination. Specifically, our approach employs classification token (CLS) of ViT to filter out high-attention outlier tokens scattered in the background and then eliminate their influence during decoding stage. We evaluate our method on LVLMs including LLaVA-1.5, LLaVA-NeXT and InstructBLIP, using various benchmarks such as POPE, CHAIR, MME and GPT-4V Aided Evaluation. The results demonstrate that our approach significantly reduces the impact of these outlier tokens, thus effectively alleviating the hallucination of LVLMs. The code of our method will be released soon.
- Abstract(参考訳): LVLM(Large Vision-Language Models)の成功にもかかわらず、彼らは必然的に幻覚に苦しんでいる。
我々が知っているように、LVLMのビジュアルエンコーダとLarge Language Model (LLM)デコーダはトランスフォーマーベースであり、モデルが視覚情報を抽出し、注意機構を介してテキスト出力を生成することができる。
画像トークン上のLLMデコーダの注意分布は視覚エンコーダと非常に一致しており、どちらの分布も画像中の参照対象よりも特定の背景トークンに注目する傾向にある。
我々は、視覚エンコーダ自体に固有の欠陥があり、LCMが冗長な情報を過度に強調し、オブジェクト幻覚を生成することを誤解しているため、予期せぬ注意分布を考慮に入れている。
この問題に対処するために、D$iveを$A$ttention $M$echanism of LVLM to $R$educe $O$bject Hallucination(英語版)に変換する新しいトレーニングフリー戦略であるDAMROを提案する。
具体的には、ViTの分類トークン(CLS)を用いて、背景に散在する高アテンションな外れ値トークンをフィルタリングし、復号段階での影響を除去する。
LLaVA-1.5, LLaVA-NeXT, InstructBLIPなどのLVLMに対して, POPE, CHAIR, MME, GPT-4V Aided Evaluation などのベンチマークを用いて評価を行った。
以上の結果から,本手法は,これらの異常トークンの影響を著しく低減し,LVLMの幻覚を効果的に緩和することを示した。
私たちのメソッドのコードはまもなくリリースされます。
関連論文リスト
- MetaToken: Detecting Hallucination in Image Descriptions by Meta Classification [1.3654846342364308]
トークンレベルの幻覚を無視可能なコストで検出する軽量バイナリ分類器であるMetaTokenを紹介する。
統計的解析から,これまでの研究で注目されていたLVLMの幻覚の要因を明らかにした。
提案手法の有効性を示す4種類のLVLMについて検討した。
論文 参考訳(メタデータ) (2024-05-29T15:28:42Z) - Boosting Multimodal Large Language Models with Visual Tokens Withdrawal for Rapid Inference [59.91176945361035]
高速推論のためにMLLMを高速化するプラグイン・アンド・プレイモジュールであるVisual Tokens Withdrawal (VTW)を紹介した。
私たちのアプローチは、私たちが観察した2つの興味深い現象にインスピレーションを受けています。
我々のVTWアプローチは、性能を維持しながら、様々なマルチモーダルタスクで計算オーバーヘッドを40%以上削減できる。
論文 参考訳(メタデータ) (2024-05-09T14:38:53Z) - Seeing is Believing: Mitigating Hallucination in Large Vision-Language Models via CLIP-Guided Decoding [36.81476620057058]
LVLM(Large Vision-Language Models)は、物体の幻覚に影響を受けやすい。
現在のアプローチは、しばしばモデルのトークン可能性やその他の内部情報に依存する。
CLIP-Guided Decoding approach to reduce object hallucination at decoding time。
論文 参考訳(メタデータ) (2024-02-23T12:57:16Z) - Mitigating Object Hallucination in Large Vision-Language Models via
Classifier-Free Guidance [56.04768229686853]
LVLM(Large Vision-Language Models)は、画像中の既存の物体を幻覚させる傾向がある。
私たちはclassifieR-Free guIdaNcE (MARINE)を介してMitigating HallucinAtionと呼ばれるフレームワークを導入する。
MARINEはトレーニングフリーかつAPIフリーであり、生成プロセス中のオブジェクト幻覚を効果的かつ効率的に低減することができる。
論文 参考訳(メタデータ) (2024-02-13T18:59:05Z) - OPERA: Alleviating Hallucination in Multi-Modal Large Language Models
via Over-Trust Penalty and Retrospection-Allocation [124.9008419182485]
OPERA(Over-trust PenaltyとRetrospection-Allocation戦略に基づく新しいMLLM復号法)を提案する。
私たちのアプローチは、ほとんどの幻覚は自己注意行列の知識集約パターンと密接に結びついているという興味深い観察から始まります。
この観察に基づいて、OPERAは、ビーム探索復号時にモデルロジットにペナルティ項を導入し、オーバートラスト問題を緩和する。
論文 参考訳(メタデータ) (2023-11-29T18:57:07Z) - Mitigating Object Hallucinations in Large Vision-Language Models through
Visual Contrastive Decoding [125.05295513481035]
本稿では,オリジナルおよび歪曲された視覚入力から出力分布を対比する,シンプルでトレーニングのないVisual Contrastive Decoding(VCD)を紹介する。
提案したVCDは, 対象幻覚の2つの重要な原因である, 統計的偏見と単調な先行性に対する信頼度を効果的に低減する。
実験の結果,付加的なトレーニングや外部ツールの使用がなければ,異なるLVLMファミリーにおける物体幻覚の問題を著しく軽減できることがわかった。
論文 参考訳(メタデータ) (2023-11-28T16:26:35Z) - Analyzing and Mitigating Object Hallucination in Large Vision-Language Models [110.12460299261531]
大規模視覚言語モデル(LVLM)は、人間の言語で視覚情報を理解する際、顕著な能力を示した。
LVLMは依然として物体幻覚に悩まされており、画像に実際に存在しない物体を含む記述を生成するという問題である。
そこで我々は,LVLMの幻覚を再現するアルゴリズム LVLM Hallucination Revisor (LURE) を提案する。
論文 参考訳(メタデータ) (2023-10-01T18:10:53Z) - Evaluating Object Hallucination in Large Vision-Language Models [122.40337582958453]
本研究は,大規模視覚言語モデル(LVLM)の物体幻覚に関する最初の体系的研究である。
LVLMは、記述中の対象画像と矛盾しないオブジェクトを生成する傾向がある。
対象の幻覚を評価するために,POPEと呼ばれるポーリングに基づくクエリ手法を提案する。
論文 参考訳(メタデータ) (2023-05-17T16:34:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。