論文の概要: Wiener Representation Filtering for VLM Hallucination Suppression

• arxiv url: http://arxiv.org/abs/2608.08167v1
• Date: Sat, 08 Aug 2026 14:51:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.709395
• Title: Wiener Representation Filtering for VLM Hallucination Suppression
• Title（参考訳）: VLM幻覚抑制のためのウィナー表現フィルタ
• Abstract要約: 本稿では,言語バックボーンの表現空間で動作する,訓練のないポストホック表現編集手法を提案する。 隠れ状態を真と幻覚のフィルター成分の重ね合わせとしてモデル化することにより、ウィナー型推定器を導出する。 LLaVA1.53、MiniGPT-4、Gemma POPE、mOwl2の実験では、物体の幻覚が一貫した減少を示した。
• 参考スコア（独自算出の注目度）: 45.33665443468439
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) excel at open-ended captioning and visual QA but often describe objects, attributes, or relations absent from the image, a phenomenon known as object hallucination. We propose a {training-free, post-hoc representation editing technique} that operates in the representation space of the language backbone. The method performs a lightweight, one-time offline calibration on a modest paired dataset to estimate the required covariance structures, using only forward passes and empirical second-order statistics with no gradient updates or fine-tuning, after which the correction is absorbed directly into the model's existing weights. By modeling hidden states as a superposition of truthful and hallucination-associated components, we derive a Wiener-type estimator whose optimal gains are given in closed form from the covariances of paired truthful and hallucinated representations. An eigendecomposition yields mode-wise attenuation that respects a stability criterion, i.e., the filter responds continuously to estimation noise. The correction is applied once to the feed-forward output projections of selected deeper layers, at inference time, the model runs unchanged and at the same speed. Experiments on LLaVA-1.5, MiniGPT-4, Gemma3, and mPLUG-Owl2 demonstrate consistent reductions in object hallucination on CHAIR, POPE, and MME while maintaining caption fluency and overall response quality. We further demonstrate the generality of our approach on the TempCompass video understanding benchmark and on discrete diffusion language models for grounded dialogue, showing that representation filtering reduces hallucinations even in temporal video reasoning and multi-step, sequence-wide denoising settings.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、オープンエンドキャプションや視覚的QAにおいて優れているが、しばしば画像から欠落しているオブジェクト、属性、関係を記述している。 本稿では,言語バックボーンの表現空間で動作する,トレーニング不要なポストホック表現編集手法を提案する。 この手法は、低速なペアリングデータセット上で1時間の軽量なオフラインキャリブレーションを行い、フォワードパスと経験的2階統計のみを使用して勾配更新や微調整を行わず、モデルの既存の重みに直接補正を吸収する。 隠蔽状態を真および幻覚関連成分の重ね合わせとしてモデル化することにより、ペアの真および幻覚表現の共分散から最適利得が閉形式で与えられるウィナー型推定器を導出する。 固有分解は、安定性基準、すなわちフィルタが推定ノイズに継続的に応答するモードワイド減衰をもたらす。 この補正は、選択されたより深い層のフィードフォワード出力プロジェクションに一度適用され、推論時にモデルが変化せず、同じ速度で実行される。 LLaVA-1.5, MiniGPT-4, Gemma3, mPLUG-Owl2 を用いた実験では, キャプション流速と全体的な応答品質を維持しつつ, CHAIR, POPE, MME に対する物体幻覚の持続的な減少が示された。 さらに,TempCompassビデオ理解ベンチマークや,接地対話のための離散拡散言語モデルに対する我々のアプローチの一般化を実証し,時間的ビデオ推論や複数段階のシーケンスワイド・デノーミング設定においても,表現フィルタリングが幻覚を減少させることを示した。

関連論文リスト

• Dynamic Alignment Compensation for Hallucination Mitigation in Large Vision-Language Models [11.237547873256924]
  LVLM(Large Vision-Language Models)は幻覚を起こす傾向があり、マルチモーダル入力とは無関係または矛盾な応答を生成する。 本稿では,表現の偏差を検出し,残差補償を選択的に適用する訓練不要な推論時間法であるemphDynamic Alignment Compensation (DAC)を提案する。 複数のLVLMバックボーンにまたがる9つの幻覚に焦点を当てた汎用マルチモーダルベンチマークの実験により、DACは高い全体的な性能を維持しながら、常に幻覚を減少させることが示された。
  論文  参考訳（メタデータ） (2026-08-28T08:21:31Z)
• Beyond Global Editing: Per-Instance Disentangled Subspaces for Training-Free Hallucination Mitigation in LVLMs [16.83614016603383]
  本研究では,大規模視覚言語モデルのための学習自由幻覚緩和フレームワークを提案する。 提案手法はまず,異なる幻覚モードを分離する不整形幻覚部分空間の集合を構成する。 複数のビジョン言語ベンチマークとLVLMファミリによる実験は、一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-08-10T09:21:12Z)
• VCE: A zero-cost hallucination mitigation method of LVLMs via visual contrastive editing [70.82867621856968]
  大きな視覚言語モデル(LVLM)は、しばしば物体幻覚(OH)に悩まされる 近年の研究では、幻覚の問題は言語の先行に起因している可能性が示唆されている。 本稿では視覚コントラスト編集(VCE)を提案する。
  論文  参考訳（メタデータ） (2026-04-21T12:40:07Z)
• VideoHEDGE: Entropy-Based Hallucination Detection for Video-VLMs via Semantic Clustering and Spatiotemporal Perturbations [4.509454543418357]
  ビデオ対応視覚モデル (VideoVLMs) の幻覚は、今も頻繁かつ高信頼である。 質問応答における幻覚検出のためのモジュラーフレームワークであるVideoHedGEを紹介する。
  論文  参考訳（メタデータ） (2026-01-13T13:42:05Z)
• Suppressing VLM Hallucinations with Spectral Representation Filtering [49.52703800684483]
  視覚言語モデル(VLM)は、画像に存在しないオブジェクト、属性、関係の記述の形で幻覚をしばしば生成する。 本稿では,モデル表現の共分散構造を解析し,補正することにより,このような幻覚を抑制するための軽量な訓練不要な手法であるスペクトル表現フィルタ(SRF)を提案する。
  論文  参考訳（メタデータ） (2025-11-15T13:49:27Z)
• Mitigating Hallucinations in Multimodal LLMs via Object-aware Preference Optimization [55.543583937522804]
  MLLM(Multimodal Large Language Models)は、様々なタスクに対処するための統一インターフェースとして登場した。 多くのベンチマークで最先端の結果が誇示されているにもかかわらず、長年の問題はMLLMが幻覚を起こす傾向にある。 本稿では,幻覚の問題をアライメント問題として取り上げ,幻覚を伴わないコンテンツを生成するためのMLLMのステアリングを試みる。
  論文  参考訳（メタデータ） (2025-08-27T18:02:04Z)
• Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
  MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。 中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。 大規模な実験ではPPADの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-05-26T14:42:35Z)
• OViP: Online Vision-Language Preference Learning for VLM Hallucination [44.14029765850719]
  大型視覚言語モデル(LVLM)は幻覚に弱いままであり、しばしば視覚入力と一致しないコンテンツを生成する。 本稿では,モデル自身の幻覚に基づいて,コントラスト学習データを動的に構築するオンラインビジョン言語嗜好学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-21T19:26:09Z)
• Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
  VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。 本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。