論文の概要: Pensieve: Retrospect-then-Compare Mitigates Visual Hallucination

• arxiv url: http://arxiv.org/abs/2403.14401v1
• Date: Thu, 21 Mar 2024 13:49:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 14:09:01.282175
• Title: Pensieve: Retrospect-then-Compare Mitigates Visual Hallucination
• Title（参考訳）: Pensieve: 視覚幻覚を緩和するレトロスペクティブ
• Authors: Dingchen Yang, Bowen Cao, Guang Chen, Changjun Jiang,
• Abstract要約: 我々はPensieveを提案する。Pensieveは、画像間で類似した視覚幻覚が生じるという観察にインスパイアされたトレーニング不要の手法である。 推論中、PensieveはMLLMに対して、関連する画像を参照として振り返り、テストイメージと比較することを可能にする。 Whoops, MME, POPE, LLaVA Benchの実験は、視覚幻覚の緩和におけるPensieveの有効性を示した。
• 参考スコア（独自算出の注目度）: 14.25488878224697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal Large Language Models (MLLMs) demonstrate remarkable success across various vision-language tasks. However, they suffer from visual hallucination, where the generated responses diverge from the provided image. Are MLLMs completely oblivious to accurate visual cues when they hallucinate? Our investigation reveals that the visual branch may simultaneously advocate both accurate and non-existent content. To address this issue, we propose Pensieve, a training-free method inspired by our observation that analogous visual hallucinations can arise among images sharing common semantic and appearance characteristics. During inference, Pensieve enables MLLMs to retrospect relevant images as references and compare them with the test image. This paradigm assists MLLMs in downgrading hallucinatory content mistakenly supported by the visual input. Experiments on Whoops, MME, POPE, and LLaVA Bench demonstrate the efficacy of Pensieve in mitigating visual hallucination, surpassing other advanced decoding strategies. Additionally, Pensieve aids MLLMs in identifying details in the image and enhancing the specificity of image descriptions.
• Abstract（参考訳）: MLLM(Multi-modal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めている。 しかし、それらは視覚幻覚に悩まされ、生成した応答は提供された画像から分岐する。 MLLMは幻覚時の正確な視覚的手がかりを完全に無視しているか? 本研究により,視覚枝は,正確な内容と存在しない内容の両方を同時に主張できることが明らかとなった。 この問題を解決するために,Pensieveを提案する。Pensieveは,類似した視覚幻覚が,共通の意味的特徴と外観的特徴を共有する画像の間に生じうるという観察から着想を得た,トレーニング不要の手法である。 推論中、PensieveはMLLMに対して、関連する画像を参照として振り返り、テストイメージと比較することを可能にする。 このパラダイムは、視覚入力によって誤って支持された幻覚コンテンツを低下させるMLLMを支援する。 Whoops、MME、POPE、LLaVA Benchの実験は、Pensieveが視覚幻覚を緩和し、他の高度な復号戦略を上回る効果を示した。 さらに、Pensieveは画像内の詳細を識別し、画像記述の特異性を高めるMLLMを支援する。

関連論文リスト

• Devils in Middle Layers of Large Vision-Language Models: Interpreting, Detecting and Mitigating Object Hallucinations via Attention Lens [7.806633929976787]
  LVLM(Large Vision-Language Models)の幻覚は、その信頼性を著しく損なう。 本稿では,LVLMが視覚情報をどのように処理し,その処理が幻覚を引き起こすかについて述べる。 本稿では,様々な頭部に情報を統合することで視覚的注意を調節する簡易な推論時間手法を提案する。
  論文  参考訳（メタデータ） (2024-11-23T03:40:05Z)
• CATCH: Complementary Adaptive Token-level Contrastive Decoding to Mitigate Hallucinations in LVLMs [74.36850397755572]
  CATCHは、未解決のシナリオにおいて、きめ細かい特徴知覚と累積幻覚を減少させる視覚的欠陥に関連する問題に対処する。 これは、特定のデータや事前知識を必要とせず、様々な視覚的質問応答タスクに適用でき、追加のトレーニングを必要とせず、新しいタスクにしっかりと一般化する。
  論文  参考訳（メタデータ） (2024-11-19T18:27:31Z)
• HELPD: Mitigating Hallucination of LVLMs by Hierarchical Feedback Learning with Vision-enhanced Penalty Decoding [36.360171373963716]
  LVLM(Large Vision-Language Models)は多くの視覚言語タスクにおいて顕著な性能を示している。 これらのモデルはまだマルチモーダル幻覚に悩まされており、それは画像に反するオブジェクトやコンテンツの生成を意味する。 本稿では、この問題に対処するために、視力強化されたペナルティ復号法(HELPD)を用いた階層的フィードバック学習を提案する。
  論文  参考訳（メタデータ） (2024-09-30T15:52:05Z)
• Interpreting and Mitigating Hallucination in MLLMs through Multi-agent Debate [34.17353224636788]
  MLLMにおける幻覚は、部分的には、これらのモデルにおいてゆっくり考え、異なる考えが欠如しているためである、と我々は主張する。 我々のアプローチは幻覚だけでなく、それらがなぜ起こるのかを解釈し、幻覚の特異点を詳述する。
  論文  参考訳（メタデータ） (2024-07-30T02:41:32Z)
• Visual Description Grounding Reduces Hallucinations and Boosts Reasoning in LVLMs [52.497823009176074]
  LVLM(Large Vision-Language Models)はしばしば、幻覚として知られる事実情報を誤認する応答を生成する。 視覚的知覚の向上とLVLMの推論能力の向上を目的とした学習自由度手法であるVisual Description Grounded Decoding (VDGD)を紹介した。
  論文  参考訳（メタデータ） (2024-05-24T16:21:59Z)
• Hallucination Augmented Contrastive Learning for Multimodal Large Language Model [53.65682783591723]
  マルチモーダル大規模言語モデル(MLLM)は、自然言語と視覚情報を効率的に統合し、マルチモーダルタスクを処理できることが示されている。 しかし、MLLMは幻覚の基本的な限界に直面しており、誤った情報や偽情報を生成する傾向がある。 本稿では,MLLMにおける幻覚を表現学習の新たな視点から論じる。
  論文  参考訳（メタデータ） (2023-12-12T04:05:15Z)
• Mitigating Object Hallucinations in Large Vision-Language Models through Visual Contrastive Decoding [125.05295513481035]
  本稿では,オリジナルおよび歪曲された視覚入力から出力分布を対比する,シンプルでトレーニングのないVisual Contrastive Decoding(VCD)を紹介する。 提案したVCDは, 対象幻覚の2つの重要な原因である, 統計的偏見と単調な先行性に対する信頼度を効果的に低減する。 実験の結果,付加的なトレーニングや外部ツールの使用がなければ,異なるLVLMファミリーにおける物体幻覚の問題を著しく軽減できることがわかった。
  論文  参考訳（メタデータ） (2023-11-28T16:26:35Z)
• Evaluating Object Hallucination in Large Vision-Language Models [122.40337582958453]
  本研究は,大規模視覚言語モデル(LVLM)の物体幻覚に関する最初の体系的研究である。 LVLMは、記述中の対象画像と矛盾しないオブジェクトを生成する傾向がある。 対象の幻覚を評価するために,POPEと呼ばれるポーリングに基づくクエリ手法を提案する。
  論文  参考訳（メタデータ） (2023-05-17T16:34:01Z)
• Plausible May Not Be Faithful: Probing Object Hallucination in Vision-Language Pre-training [66.0036211069513]
  大規模視覚言語事前学習モデルは、テキストを生成する際に、存在しない視覚オブジェクトを幻覚させる傾向がある。 標準メトリクスでより良いスコアを得るモデルは、オブジェクトをより頻繁に幻覚させる可能性があることを示す。 驚いたことに、パッチベースの機能が最も良く、より小さなパッチ解決は、オブジェクト幻覚の非自明な減少をもたらす。
  論文  参考訳（メタデータ） (2022-10-14T10:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。