論文の概要: AGLA: Mitigating Object Hallucinations in Large Vision-Language Models with Assembly of Global and Local Attention
- arxiv url: http://arxiv.org/abs/2406.12718v2
- Date: Fri, 21 Jun 2024 17:33:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-24 12:24:18.791241
- Title: AGLA: Mitigating Object Hallucinations in Large Vision-Language Models with Assembly of Global and Local Attention
- Title（参考訳）: AGLA:グローバル・ローカル・アテンションを組み込んだ大規模視覚言語モデルにおける物体の幻覚の緩和
- Authors: Wenbin An, Feng Tian, Sicong Leng, Jiahao Nie, Haonan Lin, QianYing Wang, Guang Dai, Ping Chen, Shijian Lu,
- Abstract要約: LVLM(Large Vision-Language Models)は、物体の幻覚に関する一般的な問題に直面している。
本稿では, 種々のLVLMについて検討し, 物体幻覚の根本原因としての識別的局所像の特徴に着目した。
我々は,物体の幻覚を緩和する訓練不要でプラグアンドプレイなアプローチである,グローバル・ローカル・アテンションのアセンブリー(AGLA)を提案する。
- 参考スコア（独自算出の注目度）: 42.949959519485994
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite their great success across various multimodal tasks, Large Vision-Language Models (LVLMs) are facing a prevalent problem with object hallucinations, where the generated textual responses are inconsistent with ground-truth objects in the given image. This paper investigates various LVLMs and pinpoints attention deficiency toward discriminative local image features as one root cause of object hallucinations. Specifically, LVLMs predominantly attend to prompt-independent global image features, while failing to capture prompt-relevant local features, consequently undermining the visual grounding capacity of LVLMs and leading to hallucinations. To this end, we propose Assembly of Global and Local Attention (AGLA), a training-free and plug-and-play approach that mitigates object hallucinations by exploring an ensemble of global features for response generation and local features for visual discrimination simultaneously. Our approach exhibits an image-prompt matching scheme that captures prompt-relevant local features from images, leading to an augmented view of the input image where prompt-relevant content is reserved while irrelevant distractions are masked. With the augmented view, a calibrated decoding distribution can be derived by integrating generative global features from the original image and discriminative local features from the augmented image. Extensive experiments show that AGLA consistently mitigates object hallucinations and enhances general perception capability for LVLMs across various discriminative and generative benchmarks. Our code will be released at https://github.com/Lackel/AGLA.
- Abstract（参考訳）: 様々なマルチモーダルタスクにおいて大きな成功を収めたにもかかわらず、LVLM(Large Vision-Language Models)は、オブジェクト幻覚において一般的な問題に直面している。
本稿では, 種々のLVLMについて検討し, 物体幻覚の根本原因としての識別的局所像の特徴に着目した。
特に、LVLMはプロンプト非依存のグローバルな画像の特徴に主に関与するが、プロンプト関連ローカルな特徴を捉えなかったため、LVLMの視覚的接地能力が損なわれ、幻覚がもたらされる。
この目的のために我々は,学習自由でプラグアンドプレイなアプローチであるグローバル・ローカル・アテンション(AGLA, Assembly of Global and Local Attention)を提案し,応答生成のためのグローバルな特徴と視覚的識別のためのローカル特徴のアンサンブルを同時に探索することによって,対象の幻覚を緩和する。
提案手法では,画像から急激な局所的特徴を抽出する画像プロンプトマッチング方式を提示し,無関係な注意を隠蔽しながら,急激な関連コンテンツが予約されている入力画像の視認性を高めた。
拡張ビューでは、原画像からの生成的グローバル特徴と、拡張画像からの識別的ローカル特徴を統合することで、校正復号分布を導出することができる。
広範囲にわたる実験により、AGLAは、様々な識別的および生成的ベンチマークにおいて、オブジェクト幻覚を一貫して緩和し、LVLMの一般的な知覚能力を高めることが示されている。
私たちのコードはhttps://github.com/Lackel/AGLA.comでリリースされます。
関連論文リスト
- Self-Correcting Decoding with Generative Feedback for Mitigating Hallucinations in Large Vision-Language Models [66.71616369573715]
LVLM(Large Vision-Language Models)は、与えられた視覚入力と一致しない幻覚的テキスト応答を生成する傾向がある。
テキストから画像への生成モデルからのフィードバックをデコードプロセスに組み込んだ,新たなトレーニングフリーアルゴリズムである生成フィードバック付き自己修正デコード(DeGF)を導入する。
論文 参考訳（メタデータ） (2025-02-10T03:43:55Z) - Mitigating Object Hallucinations in Large Vision-Language Models via Attention Calibration [22.39558434131574]
LVLM(Large Vision-Language Models)は、視覚的コンテンツと実際に一致しない応答を生成する。
我々は、単一の意味のない入力画像からバイアスを推定する、トレーニング不要なソリューションUniform Attention (UAC)を導入する。
また、画像中のオブジェクトがどこにあっても一貫した出力を強制する、微調整ソリューションであるDynamic Attention (DAC)を導入します。
論文 参考訳（メタデータ） (2025-02-04T03:27:38Z) - MINT: Mitigating Hallucinations in Large Vision-Language Models via Token Reduction [6.416957959150438]
幻覚は、高い信頼性を必要とする領域におけるLVLM(Large Vision-Language Models)の適用を妨げる。
tokeN再帰による幻覚を緩和する訓練不要な復号法であるMINTを提案する。
提案手法は,従来のモデルに比べて知覚障害による幻覚の緩和効果が4%向上する。
論文 参考訳（メタデータ） (2025-02-02T08:34:57Z) - HALLUCINOGEN: A Benchmark for Evaluating Object Hallucination in Large Visual-Language Models [57.58426038241812]
LVLM(Large Vision-Language Models)は、複雑なマルチモーダルタスクの実行において顕著な性能を示す。
本稿では,新しい視覚的質問応答(VQA)オブジェクト幻覚攻撃ベンチマークであるHALLUCINOGENを提案する。
バイオメディカルドメインに適合した幻覚攻撃であるMED-HALLUCINOGENを導入した。
論文 参考訳（メタデータ） (2024-12-29T23:56:01Z) - Mitigating Object Hallucination via Concentric Causal Attention [71.27325347912823]
物体の幻覚は回転位置と密接に結びついていることを示す。
RoPEは、広く採用されている位置依存モデリング設計である。
簡易かつ効果的な位置アライメント戦略であるConcentric Causal Attention (CCA)を提案する。
論文 参考訳（メタデータ） (2024-10-21T11:54:53Z) - From Pixels to Tokens: Revisiting Object Hallucinations in Large Vision-Language Models [15.401221354325672]
大型視覚モデル(LVLM)における幻覚は、視覚入力に表示されない物体を生成するという重要な課題である。
最近の研究では、幻覚は視覚的な入力の理解の欠如に起因しているが、より根本的な問題は無視されている。
本稿では,LVLMの幻覚をアーキテクチャの観点から再検討し,視覚エンコーダ(機能抽出)とモーダルアライメントモジュール(機能デカップリング)の主な原因について検討する。
論文 参考訳（メタデータ） (2024-10-09T11:46:32Z) - HELPD: Mitigating Hallucination of LVLMs by Hierarchical Feedback Learning with Vision-enhanced Penalty Decoding [36.360171373963716]
LVLM(Large Vision-Language Models)は多くの視覚言語タスクにおいて顕著な性能を示している。
これらのモデルはまだマルチモーダル幻覚に悩まされており、それは画像に反するオブジェクトやコンテンツの生成を意味する。
本稿では、この問題に対処するために、視力強化されたペナルティ復号法(HELPD)を用いた階層的フィードバック学習を提案する。
論文 参考訳（メタデータ） (2024-09-30T15:52:05Z) - Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models? [53.89380284760555]
大型視覚言語モデル(LVLM)は、画像に見つからない概念に言及するキャプションを生成する。
これらの幻覚は、LVLMの信頼性を損なうものであり、ユビキタス採用の主な障害であることは間違いない。
最近の研究は、画像領域やオブジェクトをテキストスパンに明示的にアライメントする、接地目的の追加は、LVLM幻覚の量を減らすことを示唆している。
論文 参考訳（メタデータ） (2024-06-20T16:56:11Z) - Make VLM Recognize Visual Hallucination on Cartoon Character Image with Pose Information [5.501684533538496]
視覚言語モデル(VLM)を用いた意味幻覚検出システムを提案する。
我々は、プロンプト、RGB画像、ポーズ情報を超えて視覚データをさらに入力することで、VLMの全体的な性能を改善する、ポーズ認識型インコンテキスト・ビジュアル・ラーニング(PA-ICVL)を導入する。
本研究は、コンテキスト内視覚学習による視覚幻覚を緩和し、非フォトリアリスティック領域における潜在能力を拡大することにより、TTIモデルの現実世界への応用に向けての能力を向上させる。
論文 参考訳（メタデータ） (2024-03-22T09:13:09Z) - Analyzing and Mitigating Object Hallucination in Large Vision-Language Models [110.12460299261531]
大規模視覚言語モデル(LVLM)は、人間の言語で視覚情報を理解する際、顕著な能力を示した。
LVLMは依然として物体幻覚に悩まされており、画像に実際に存在しない物体を含む記述を生成するという問題である。
そこで我々は,LVLMの幻覚を再現するアルゴリズム LVLM Hallucination Revisor (LURE) を提案する。
論文 参考訳（メタデータ） (2023-10-01T18:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。