論文の概要: ConVis: Contrastive Decoding with Hallucination Visualization for Mitigating Hallucinations in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2408.13906v1
• Date: Sun, 25 Aug 2024 18:02:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 15:32:15.738213
• Title: ConVis: Contrastive Decoding with Hallucination Visualization for Mitigating Hallucinations in Multimodal Large Language Models
• Title（参考訳）: ConVis:マルチモーダル大言語モデルにおける幻覚の緩和のための幻覚可視化を用いたコントラストデコーディング
• Authors: Yeji Park, Deokyeong Lee, Junsuk Choe, Buru Chang,
• Abstract要約: トレーニング不要なコントラスト復号法であるConVisを導入する。 一般的な5つのベンチマーク実験により、ConVisは様々なMLLMの幻覚を効果的に低減することを示した。
• 参考スコア（独自算出の注目度）: 11.75855265467876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hallucinations in Multimodal Large Language Models (MLLMs) where generated responses fail to accurately reflect the given image pose a significant challenge to their reliability. To address this, we introduce ConVis, a novel training-free contrastive decoding method. ConVis leverages a text-to-image (T2I) generation model to semantically reconstruct the given image from hallucinated captions. By comparing the contrasting probability distributions produced by the original and reconstructed images, ConVis enables MLLMs to capture visual contrastive signals that penalize hallucination generation. Notably, this method operates purely within the decoding process, eliminating the need for additional data or model updates. Our extensive experiments on five popular benchmarks demonstrate that ConVis effectively reduces hallucinations across various MLLMs, highlighting its potential to enhance model reliability.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)では、生成した応答が、与えられたイメージを正確に反映することができないため、その信頼性に重大な課題が生じる。 そこで本研究では,新しいトレーニングフリーコントラスト復号法であるConVisを紹介する。 ConVisはテキスト・ツー・イメージ(T2I)生成モデルを利用して、幻覚したキャプションから与えられた画像を意味的に再構築する。 オリジナル画像と再構成画像のコントラスト分布を比較することで、MLLMは幻覚生成をペナルティ化する視覚コントラスト信号をキャプチャすることができる。 特に、この方法はデコードプロセス内で純粋に動作し、追加のデータやモデルの更新を必要としない。 5つの人気のあるベンチマークに関する広範な実験により、ConVisは様々なMLLMの幻覚を効果的に低減し、モデルの信頼性を高める可能性を強調した。

関連論文リスト

• Reducing Hallucinations in Vision-Language Models via Latent Space Steering [34.1755878632361]
  幻覚は、アプリケーションに大規模な視覚言語モデル(LVLM)を配置する上での課題である。 本稿では,視覚的特徴の安定性を高めるために,視覚とテクスチュアル・インターベンション(VTI, Visual and Textual Intervention)を提案する。
  論文  参考訳（メタデータ） (2024-10-21T08:42:30Z)
• HELPD: Mitigating Hallucination of LVLMs by Hierarchical Feedback Learning with Vision-enhanced Penalty Decoding [36.360171373963716]
  LVLM(Large Vision-Language Models)は多くの視覚言語タスクにおいて顕著な性能を示している。 これらのモデルはまだマルチモーダル幻覚に悩まされており、それは画像に反するオブジェクトやコンテンツの生成を意味する。 本稿では、この問題に対処するために、視力強化されたペナルティ復号法(HELPD)を用いた階層的フィードバック学習を提案する。
  論文  参考訳（メタデータ） (2024-09-30T15:52:05Z)
• CODE: Contrasting Self-generated Description to Combat Hallucination in Large Multi-modal Models [51.70129969269271]
  CODE(Countering Description Contrastive Decoding)という,新しいコントラストベースのデコーディング手法を提案する。 提案手法は幻覚を著しく低減し,様々なベンチマークや最先端のLMM間の相互整合性を改善する。
  論文  参考訳（メタデータ） (2024-06-04T03:04:21Z)
• Alleviating Hallucinations in Large Vision-Language Models through Hallucination-Induced Optimization [123.54980913741828]
  大規模ビジュアル言語モデル(LVLM)は、マルチモーダルデータの理解において、例外的な能力を示した。 彼らは必然的に幻覚に悩まされ、生成されたテキストと対応するイメージを切断する。 現在の視覚的コントラスト復号法のほとんどは、視覚的不確実性情報を導入して幻覚を緩和しようとするものである。 しかし、彼らは幻覚トークンを正確に誘導するのに苦労し、幻覚を緩和する効果を著しく制限した。
  論文  参考訳（メタデータ） (2024-05-24T08:46:31Z)
• Mitigating Hallucinations in Large Vision-Language Models with Instruction Contrastive Decoding [25.489832294197797]
  本稿では,LVLM推論における幻覚の低減を目的とした,命令コントラストデコーディング(ICD)手法を提案する。 本手法は,マルチモーダル核融合モジュールにおいて,外乱指示が幻覚を著しく悪化させるという観察に着想を得たものである。
  論文  参考訳（メタデータ） (2024-03-27T16:04:47Z)
• IBD: Alleviating Hallucinations in Large Vision-Language Models via Image-Biased Decoding [37.16880672402059]
  言語的先行性への過度な依存は幻覚に繋がる重要な要因として認識されている。 本稿では,新しい画像バイアスデコーディング手法を導入することにより,この問題を軽減することを提案する。 提案手法は,従来のLVLMと画像バイアスLVLMの予測を対比することにより,次の確率分布を導出する。
  論文  参考訳（メタデータ） (2024-02-28T16:57:22Z)
• Less is More: Mitigating Multimodal Hallucination from an EOS Decision Perspective [55.41815486466186]
  大規模なマルチモーダルモデル(LMM)は、視覚的な入力に存在しないコンテンツを生成するため、しばしば多モーダル幻覚に悩まされる。 本稿では,モデルが生成をタイムリーに終了する能力を阻害する,過度に詳細なトレーニングデータについて検討する。 生成したテキストと画像を比較し,シーケンス全体の完全性を評価する。
  論文  参考訳（メタデータ） (2024-02-22T13:33:13Z)
• Hallucination Augmented Contrastive Learning for Multimodal Large Language Model [53.65682783591723]
  マルチモーダル大規模言語モデル(MLLM)は、自然言語と視覚情報を効率的に統合し、マルチモーダルタスクを処理できることが示されている。 しかし、MLLMは幻覚の基本的な限界に直面しており、誤った情報や偽情報を生成する傾向がある。 本稿では,MLLMにおける幻覚を表現学習の新たな視点から論じる。
  論文  参考訳（メタデータ） (2023-12-12T04:05:15Z)
• Mitigating Object Hallucinations in Large Vision-Language Models through Visual Contrastive Decoding [125.05295513481035]
  本稿では,オリジナルおよび歪曲された視覚入力から出力分布を対比する,シンプルでトレーニングのないVisual Contrastive Decoding(VCD)を紹介する。 提案したVCDは, 対象幻覚の2つの重要な原因である, 統計的偏見と単調な先行性に対する信頼度を効果的に低減する。 実験の結果,付加的なトレーニングや外部ツールの使用がなければ,異なるLVLMファミリーにおける物体幻覚の問題を著しく軽減できることがわかった。
  論文  参考訳（メタデータ） (2023-11-28T16:26:35Z)
• Evaluating Object Hallucination in Large Vision-Language Models [122.40337582958453]
  本研究は,大規模視覚言語モデル(LVLM)の物体幻覚に関する最初の体系的研究である。 LVLMは、記述中の対象画像と矛盾しないオブジェクトを生成する傾向がある。 対象の幻覚を評価するために,POPEと呼ばれるポーリングに基づくクエリ手法を提案する。
  論文  参考訳（メタデータ） (2023-05-17T16:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。