論文の概要: ONLY: One-Layer Intervention Sufficiently Mitigates Hallucinations in Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2507.00898v1
• Date: Tue, 01 Jul 2025 16:01:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:59.719319
• Title: ONLY: One-Layer Intervention Sufficiently Mitigates Hallucinations in Large Vision-Language Models
• Title（参考訳）: オンリー:1層干渉は視覚・言語大モデルにおける幻覚を十分緩和する
• Authors: Zifu Wan, Ce Zhang, Silong Yong, Martin Q. Ma, Simon Stepputtis, Louis-Philippe Morency, Deva Ramanan, Katia Sycara, Yaqi Xie,
• Abstract要約: LVLM(Large Vision-Language Models)は、テキスト応答による画像入力の理解と推論のための新しいパラダイムを導入している。 彼らは幻覚という永続的な課題に直面しており、現実のアプリケーションに信頼性のあるデプロイを行うことについて懸念を抱き、実践的な弱点をもたらしている。 OnLYは,1つのクエリと1層の介入しか必要とせず,効率的なリアルタイムデプロイメントを実現するためのトレーニング不要なデコーディング手法である。
• 参考スコア（独自算出の注目度）: 67.75439511654078
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent Large Vision-Language Models (LVLMs) have introduced a new paradigm for understanding and reasoning about image input through textual responses. Although they have achieved remarkable performance across a range of multi-modal tasks, they face the persistent challenge of hallucination, which introduces practical weaknesses and raises concerns about their reliable deployment in real-world applications. Existing work has explored contrastive decoding approaches to mitigate this issue, where the output of the original LVLM is compared and contrasted with that of a perturbed version. However, these methods require two or more queries that slow down LVLM response generation, making them less suitable for real-time applications. To overcome this limitation, we propose ONLY, a training-free decoding approach that requires only a single query and a one-layer intervention during decoding, enabling efficient real-time deployment. Specifically, we enhance textual outputs by selectively amplifying crucial textual information using a text-to-visual entropy ratio for each token. Extensive experimental results demonstrate that our proposed ONLY consistently outperforms state-of-the-art methods across various benchmarks while requiring minimal implementation effort and computational cost. Code is available at https://github.com/zifuwan/ONLY.
• Abstract（参考訳）: 近年のLVLM(Large Vision-Language Models)は,テキスト応答による画像入力の理解と推論のための新しいパラダイムを導入している。 様々なマルチモーダルタスクで顕著なパフォーマンスを達成したが、幻覚という永続的な課題に直面し、現実のアプリケーションに信頼性を持たせることへの懸念を高めている。 既存の研究では、この問題を緩和するために、オリジナルのLVLMの出力を摂動バージョンと比較し、対比するコントラスト的な復号法が検討されている。 しかし、これらの方法はLVLM応答生成を遅くする2つ以上のクエリを必要とするため、リアルタイムアプリケーションには適さない。 そこで我々は,この制限を克服するために,1つのクエリと1つのレイヤの介入しか必要とせず,効率的なリアルタイムデプロイメントを実現するトレーニングフリーなデコーディング手法ONLYを提案する。 具体的には,各トークンに対するテキスト対視覚エントロピー比を用いて重要なテキスト情報を選択的に増幅することにより,テキスト出力を向上させる。 大規模な実験結果から,提案手法は,実装の労力と計算コストを最小限に抑えつつ,様々なベンチマークにおいて常に最先端の手法より優れていたことが示唆された。 コードはhttps://github.com/zifuwan/ONLY.comで入手できる。

関連論文リスト

• Mitigating Hallucination of Large Vision-Language Models via Dynamic Logits Calibration [8.192590936983347]
  LVLM(Large Vision-Language Models)はマルチモーダル理解において大きな進歩を見せている。 視覚的な入力に反する幻覚、すなわちテキストの生成によってしばしば妨げられる。 既存のトレーニング不要のデコード戦略には、重大な制限がある。 本稿では,テキスト生成と推論時の視覚的エビデンスを整合させる新しいトレーニングフリーデコードフレームワークであるDynamic Logits (DLC)を紹介する。
  論文  参考訳（メタデータ） (2025-06-26T17:35:40Z)
• Revisit What You See: Disclose Language Prior in Vision Tokens for Efficient Guided Decoding of LVLMs [8.97780713904412]
  本稿では、視覚トークンを参照してLVLM(Large Vision-Language Models)におけるテキスト生成プロセスのガイドを行う、シンプルで効果的な復号法であるReVisiTを紹介する。 提案手法は,テキストトークン分布空間に投影し,制約付き発散最小化により,各復号ステップにおいて最も関連性の高い視覚トークンを動的に選択することにより,視覚トークン内に埋め込まれた意味情報を活用する。
  論文  参考訳（メタデータ） (2025-06-11T08:46:55Z)
• Learning Free Token Reduction for Multi-Modal Large Language Models [3.4026156483879517]
  VLM(Vision-Language Models)は、様々なマルチモーダルタスクにおいて顕著な成功を収めている。 しかし、それらの実践的な展開は、しばしば高い計算コストと長期の推論時間によって制約される。 本稿では,空間次元と時間次元の両方で動作するトークン圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2025-01-29T02:52:32Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections [104.14624185375897]
  mPLUGは、クロスモーダルな理解と生成のための新しいビジョン言語基盤モデルである。 画像キャプション、画像テキスト検索、視覚的グラウンドリング、視覚的質問応答など、幅広い視覚言語下流タスクの最先端結果を達成する。
  論文  参考訳（メタデータ） (2022-05-24T11:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。