論文の概要: ReCo: Reminder Composition Mitigates Hallucinations in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2506.22636v1
• Date: Fri, 27 Jun 2025 21:01:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.492677
• Title: ReCo: Reminder Composition Mitigates Hallucinations in Vision-Language Models
• Title（参考訳）: ReCo:視覚言語モデルにおける幻覚を緩和するリマインダー構成
• Authors: Sotirios Panagiotis Chytas, Miso Choi, Hyunwoo J. Kim, Vikas Singh,
• Abstract要約: 視覚言語モデル(VLM)は、視覚データと言語データの統合と推論において素晴らしい能力を示す。 一般的な発見は幻覚の傾向、すなわち視覚入力に基づかない可塑性な音声テキストを生成することである。 我々は,任意のVLM上に,小型でトレーニング可能なモジュール(ReCoという名前)を追加することを提案する。
• 参考スコア（独自算出の注目度）: 31.72409305636333
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision Language Models (VLMs) show impressive capabilities in integrating and reasoning with both visual and language data. But these models make mistakes. A common finding -- similar to LLMs -- is their tendency to hallucinate, i.e., generate plausible sounding text which is not grounded in the visual input, or at worst, is contradictory. A growing consensus attributes this behavior to an over-reliance on language -- especially as the generation progresses, the model suffers from a ``fading memory effect'' with respect to the provided visual input. We study mechanisms by which this behavior can be controlled. Specifically, using ideas from geometric algebra and relational compositions, we propose the addition of a small, trainable module (named ReCo) on top of any VLM -- no other modification is needed. We show that such a lightweight module is able to mitigate the fading memory effect on three of the most widely used VLMs (InstructBLIP, LlaVA, MiniGPT4), where we see performance improvements on multiple benchmarks. Additionally, we show that our module can be combined with many of the other approaches for reducing hallucination where we achieve improved results for each one.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、視覚データと言語データの統合と推論において素晴らしい能力を示す。 しかし、これらのモデルは間違いを犯す。 LLMに類似した一般的な発見は、幻覚を起こす傾向、すなわち視覚入力に基づかない、または最悪の場合には矛盾する、可塑性な音声テキストを生成する傾向があることである。 特に生成が進むにつれて、モデルが与えられた視覚的入力に対して「フェイディングメモリエフェクト」に悩まされるため、この動作を制御できるメカニズムについて検討する。特に、代数代数や関係合成のアイデアを用いて、VLM上に小さなトレーニング可能なモジュール(ReCoという名前)を追加することを提案する。 このような軽量なモジュールは、最も広く使われている3つのVLM(InstructBLIP, LlaVA, MiniGPT4)において、フェージングメモリ効果を緩和できることを示す。 さらに,このモジュールは幻覚を減らすための他の多くのアプローチと組み合わせて,各モジュールに対して改善した結果が得られることを示す。

関連論文リスト

• ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs [98.27348724529257]
  ViCrit (Visual Caption Hallucination Critic) は、VLMを訓練し、人間の手書き画像キャプションの段落に挿入された微妙で合成的な視覚幻覚をローカライズするRLプロキシタスクである。 ViCrit Taskでトレーニングされたモデルは、さまざまなビジョン言語モデルベンチマークで大幅に向上している。
  論文  参考訳（メタデータ） (2025-06-11T19:16:54Z)
• EAGLE: Enhanced Visual Grounding Minimizes Hallucinations in Instructional Multimodal Models [54.234657224615354]
  大規模な言語モデルと視覚変換器は、ダウンストリームタスクにおいて大きな転送可能性を実現する、印象的なゼロショット機能を示している。 膨大な画像と言語の事前学習を取り入れているにもかかわらず、これらのマルチモーダルアーキテクチャは、画像データの基底真理から逸脱する応答をしばしば生成する。 幻覚を緩和する現在の方法は、一般的に言語コンポーネントの正規化、融合モジュールの改善、視覚表現を改善するために複数の視覚エンコーダのアンサンブルに焦点を当てている。 従来のコントラスト付き事前学習タスクを手軽に書き換えることで,教育用マルチモーダルアーキテクチャに組み込まれたビジュアルエンコーダが,追加の指導訓練を行なわずに実現可能であることを示す。
  論文  参考訳（メタデータ） (2025-01-06T00:39:31Z)
• Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
  大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。 LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。 本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T17:56:28Z)
• MLLM can see? Dynamic Correction Decoding for Hallucination Mitigation [50.73561815838431]
  MLLM(Multimodal Large Language Models)はしばしば幻覚現象を示す。 実験により,MLLMは最終出力のオブジェクトを誤って生成するが,前層の視覚的オブジェクトを認識できることがわかった。 そこで本研究では,MLLMs DeCoの動的補正復号法を提案する。この手法は,適切な先行層を適応的に選択し,最終層に知識を比例的に統合し,出力ロジットを調整する。
  論文  参考訳（メタデータ） (2024-10-15T16:57:44Z)
• HELPD: Mitigating Hallucination of LVLMs by Hierarchical Feedback Learning with Vision-enhanced Penalty Decoding [36.360171373963716]
  LVLM(Large Vision-Language Models)は多くの視覚言語タスクにおいて顕著な性能を示している。 これらのモデルはまだマルチモーダル幻覚に悩まされており、それは画像に反するオブジェクトやコンテンツの生成を意味する。 本稿では、この問題に対処するために、視力強化されたペナルティ復号法(HELPD)を用いた階層的フィードバック学習を提案する。
  論文  参考訳（メタデータ） (2024-09-30T15:52:05Z)
• Plausible May Not Be Faithful: Probing Object Hallucination in Vision-Language Pre-training [66.0036211069513]
  大規模視覚言語事前学習モデルは、テキストを生成する際に、存在しない視覚オブジェクトを幻覚させる傾向がある。 標準メトリクスでより良いスコアを得るモデルは、オブジェクトをより頻繁に幻覚させる可能性があることを示す。 驚いたことに、パッチベースの機能が最も良く、より小さなパッチ解決は、オブジェクト幻覚の非自明な減少をもたらす。
  論文  参考訳（メタデータ） (2022-10-14T10:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。