論文の概要: SeeMe: Mitigating Hallucinations in Large Vision-Language Models through Effective Visual Token Engineering

• arxiv url: http://arxiv.org/abs/2607.04163v1
• Date: Sun, 05 Jul 2026 08:07:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.844241
• Title: SeeMe: Mitigating Hallucinations in Large Vision-Language Models through Effective Visual Token Engineering
• Title（参考訳）: SeeMe: 視覚工学による視覚・言語モデルにおける幻覚の軽減
• Abstract要約: LVLM(Large Vision-Language Models)は視覚理解タスクにおいて顕著な進歩を遂げている。 幻覚に敏感であり、実際の視覚入力と矛盾する内容を生成する。 機能工学の概念をLVLMに導入する学習自由フレームワークであるSeeeMeを提案する。
• 参考スコア（独自算出の注目度）: 38.57574515804996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Vision-Language Models (LVLMs) have achieved remarkable progress in visual understanding tasks such as image captioning and visual question answering. However, they remain susceptible to hallucinations, generating content that is inconsistent with the actual visual input. Existing methods primarily intervene at the decoding stage, while overlooking a critical source of hallucinations: irrelevant or noisy visual tokens that mislead the decoding process. To address this issue, we propose SeeMe, a training-free framework that introduces the concept of feature engineering from traditional machine learning into LVLMs. SeeMe restructures visual tokens through a three-stage token engineering process to suppress hallucination sources while preserving informative visual evidence. Experiments on MME, POPE, and AMBER benchmarks across four LVLMs demonstrate that SeeMe consistently reduces hallucinations and improves output consistency, providing a novel perspective for mitigating hallucinations in LVLMs.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、画像キャプションや視覚的質問応答といった視覚的理解タスクにおいて顕著な進歩を遂げている。 しかし、それらは幻覚に弱いままであり、実際の視覚的入力と矛盾する内容を生成する。 既存の手法は主に復号の段階で介入するが、幻覚の重要な源である無関係または騒々しい視覚トークンは復号過程を誤解させる。 この問題に対処するために,従来の機械学習からLVLMへ機能工学の概念を導入する,トレーニング不要のフレームワークであるSeeeMeを提案する。 SeeMeは、3段階のトークンエンジニアリングプロセスを通じて視覚トークンを再構成し、視覚的証拠を保存しながら幻覚源を抑制する。 4つのLVLMに対するMME、POPE、AMBERベンチマークの実験は、SeeeMeが一貫して幻覚を減らし、出力の整合性を改善し、LVLMにおける幻覚を緩和するための新しい視点を提供することを示した。

関連論文リスト

• Finding the Correct Visual Evidence Without Forgetting: Mitigating Hallucination in LVLMs via Inter-Layer Visual Attention Discrepancy [42.615995536459224]
  その結果、LVLM(Large Vision-Language Models)は、正しい視覚的証拠に十分な注意を払っていると幻覚しがちであることがわかった。 ILVAD(Inter-Layer Visual Attention Discrepancy)に基づく視覚的エビデンスを高める新しい幻覚緩和法を提案する。 私たちの方法は、トレーニングフリーでプラグアンドプレイです。
  論文  参考訳（メタデータ） (2026-05-20T09:50:13Z)
• Residual Decoding: Mitigating Hallucinations in Large Vision-Language Models via History-Aware Residual Guidance [31.7541034166056]
  LVLM(Large Vision-Language Models)は、画像テキスト入力から効果的に推論し、様々なマルチモーダルタスクでうまく機能する。 彼らは言語の先行性に影響され、しばしば幻覚を生じさせる。 この問題に対処するためにResidual Decoding (ResDec)を提案する。
  論文  参考訳（メタデータ） (2026-02-01T06:12:05Z)
• Enhancing Visual Reliance in Text Generation: A Bayesian Perspective on Mitigating Hallucination in Large Vision-Language Models [15.30139764717077]
  LVLM(Large Vision-Language Models)は通常、コンテキストコヒーレンスを満たすテキストを生成するが、視覚入力と一致しない。 本稿では,ベイズ的視点からLVLMのテキスト生成における視覚的依存を退避させる要因について検討する。
  論文  参考訳（メタデータ） (2025-05-26T04:26:30Z)
• Cracking the Code of Hallucination in LVLMs with Vision-aware Head Divergence [69.86946427928511]
  大型視覚言語モデル(LVLM)における幻覚を駆動する内部メカニズムについて検討する。 本稿では,視覚的コンテキストに対する注目ヘッド出力の感度を定量化する指標として,視覚認識型頭部偏差(VHD)を紹介する。 視覚認識型頭部強化(VHR)は,視覚認識型頭部機能を高めることで幻覚を緩和するための訓練不要なアプローチである。
  論文  参考訳（メタデータ） (2024-12-18T15:29:30Z)
• CATCH: Complementary Adaptive Token-level Contrastive Decoding to Mitigate Hallucinations in LVLMs [74.36850397755572]
  CATCHは、未解決のシナリオにおいて、きめ細かい特徴知覚と累積幻覚を減少させる視覚的欠陥に関連する問題に対処する。 これは、特定のデータや事前知識を必要とせず、様々な視覚的質問応答タスクに適用でき、追加のトレーニングを必要とせず、新しいタスクにしっかりと一般化する。
  論文  参考訳（メタデータ） (2024-11-19T18:27:31Z)
• From Pixels to Tokens: Revisiting Object Hallucinations in Large Vision-Language Models [15.401221354325672]
  大型視覚モデル(LVLM)における幻覚は、視覚入力に表示されない物体を生成するという重要な課題である。 最近の研究では、幻覚は視覚的な入力の理解の欠如に起因しているが、より根本的な問題は無視されている。 本稿では,LVLMの幻覚をアーキテクチャの観点から再検討し,視覚エンコーダ(機能抽出)とモーダルアライメントモジュール(機能デカップリング)の主な原因について検討する。
  論文  参考訳（メタデータ） (2024-10-09T11:46:32Z)
• Visual Description Grounding Reduces Hallucinations and Boosts Reasoning in LVLMs [52.497823009176074]
  LVLM(Large Vision-Language Models)はしばしば、幻覚として知られる事実情報を誤認する応答を生成する。 視覚的知覚の向上とLVLMの推論能力の向上を目的とした学習自由度手法であるVisual Description Grounded Decoding (VDGD)を紹介した。
  論文  参考訳（メタデータ） (2024-05-24T16:21:59Z)
• Pensieve: Retrospect-then-Compare Mitigates Visual Hallucination [14.25488878224697]
  本稿では、類似した視覚幻覚を利用する訓練不要の手法であるPensieveを提案する。 Pensieveは、抽出されたスコアを適応的にスケーリングすることで、視覚とテキストの両方のブランチからエラーに対処する効果を緩和する。
  論文  参考訳（メタデータ） (2024-03-21T13:49:42Z)
• Hallucination Augmented Contrastive Learning for Multimodal Large Language Model [53.65682783591723]
  マルチモーダル大規模言語モデル(MLLM)は、自然言語と視覚情報を効率的に統合し、マルチモーダルタスクを処理できることが示されている。 しかし、MLLMは幻覚の基本的な限界に直面しており、誤った情報や偽情報を生成する傾向がある。 本稿では,MLLMにおける幻覚を表現学習の新たな視点から論じる。
  論文  参考訳（メタデータ） (2023-12-12T04:05:15Z)
• Evaluating Object Hallucination in Large Vision-Language Models [122.40337582958453]
  本研究は,大規模視覚言語モデル(LVLM)の物体幻覚に関する最初の体系的研究である。 LVLMは、記述中の対象画像と矛盾しないオブジェクトを生成する傾向がある。 対象の幻覚を評価するために,POPEと呼ばれるポーリングに基づくクエリ手法を提案する。
  論文  参考訳（メタデータ） (2023-05-17T16:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。