論文の概要: Suppressing VLM Hallucinations with Spectral Representation Filtering

• arxiv url: http://arxiv.org/abs/2511.12220v1
• Date: Sat, 15 Nov 2025 13:49:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 18:52:09.579495
• Title: Suppressing VLM Hallucinations with Spectral Representation Filtering
• Title（参考訳）: スペクトル表現フィルタを用いたVLM幻覚の抑制
• Authors: Ameen Ali, Tamim Zoabi, Lior Wolf,
• Abstract要約: 視覚言語モデル(VLM)は、画像に存在しないオブジェクト、属性、関係の記述の形で幻覚をしばしば生成する。 本稿では,モデル表現の共分散構造を解析し,補正することにより,このような幻覚を抑制するための軽量な訓練不要な手法であるスペクトル表現フィルタ(SRF)を提案する。
• 参考スコア（独自算出の注目度）: 49.52703800684483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) frequently produce hallucinations in the form of descriptions of objects, attributes, or relations that do not exist in the image due to over-reliance on language priors and imprecise cross-modal grounding. We introduce Spectral Representation Filtering (SRF), a lightweight, training-free method to suppress such hallucinations by analyzing and correcting the covariance structure of the model's representations. SRF identifies low-rank hallucination modes through eigendecomposition of the covariance of the differences between features collected for truthful and hallucinatory captions, revealing structured biases in the feature space. A soft spectral filter then attenuates these modes in the feed-forward projection weights of deeper vLLM layers, equalizing feature variance while preserving semantic fidelity. Unlike decoding or retraining-based approaches, SRF operates entirely post-hoc, incurs zero inference overhead, and requires no architectural modifications. Across three families of VLMs (LLaVA-1.5, MiniGPT-4, and mPLUG-Owl2), SRF consistently reduces hallucination rates on MSCOCO, POPE-VQA, and other visual tasks benchmarks, achieving state-of-the-art faithfulness without degrading caption quality.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、言語先行への過度な依存と不正確なクロスモーダル接地により、画像に存在しないオブジェクト、属性、関係の記述という形で幻覚をしばしば生成する。 本稿では,モデル表現の共分散構造を解析し,補正することにより,このような幻覚を抑制するための軽量な訓練不要な手法であるスペクトル表現フィルタ(SRF)を提案する。 SRFは、真理と幻覚のキャプションで収集された特徴の相違を固有分解することで、低階の幻覚モードを特定し、特徴空間における構造化バイアスを明らかにする。 ソフトスペクトルフィルタは、より深いvLLM層のフィードフォワード投影重みにおけるこれらのモードを減衰させ、意味的忠実性を維持しながら特徴分散を等しくする。 復号化や再訓練ベースのアプローチとは異なり、SRFは完全にポストホックであり、推論オーバーヘッドはゼロであり、アーキテクチャの変更は不要である。 VLMの3つのファミリー(LLaVA-1.5、MiniGPT-4、mPLUG-Owl2)において、SRFはMSCOCO、POPE-VQA、その他の視覚タスクベンチマークに対する幻覚率を一貫して減少させ、キャプションの品質を劣化させることなく最先端の忠実性を達成する。

関連論文リスト

• HADSF: Aspect Aware Semantic Control for Explainable Recommendation [4.75127493865044]
  大規模言語モデル(LLM)の最近の進歩は、推薦システムに対してより効果的な情報抽出を約束している。 本稿では,適応選択によるコンパクトなコーパスレベルのアスペクトボキャブラリを誘導し,構造化アスペクトオピニオン三重項のボキャブラリ誘導,明示的に制約された抽出を行う2段階アプローチを提案する。 1.5B-70Bパラメータにまたがる約300万のレビューに関する実験では、標準評価予測器に統合された場合、HADSFは予測エラーを一貫して減少させる。
  論文  参考訳（メタデータ） (2025-10-30T20:49:33Z)
• Beyond ROUGE: N-Gram Subspace Features for LLM Hallucination Detection [5.0106565473767075]
  大規模言語モデル(LLM)は、自然言語を含む様々なタスクにおいて有効性を示す。 幻覚の根本的な問題は依然としてこれらのモデルに悩まされており、一貫性のある真正な情報を生成する際の信頼性を制限している。 LLM生成テキストからN-Gram周波数テンソルを構成するROUGEにインスパイアされた新しい手法を提案する。 このテンソルは共起パターンを符号化することでよりリッチな意味構造を捉え、事実と幻覚的コンテンツをよりよく区別することができる。
  論文  参考訳（メタデータ） (2025-09-03T18:52:24Z)
• Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
  MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。 中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。 大規模な実験ではPPADの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-05-26T14:42:35Z)
• OViP: Online Vision-Language Preference Learning for VLM Hallucination [44.14029765850719]
  大型視覚言語モデル(LVLM)は幻覚に弱いままであり、しばしば視覚入力と一致しないコンテンツを生成する。 本稿では,モデル自身の幻覚に基づいて,コントラスト学習データを動的に構築するオンラインビジョン言語嗜好学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-21T19:26:09Z)
• FreSca: Scaling in Frequency Space Enhances Diffusion Models [55.75504192166779]
  本稿では,潜時拡散モデルにおける周波数制御について検討する。 本稿では,低周波成分と高周波成分にノイズ差を分解する新しいフレームワークFreScaを紹介する。 FreScaはモデルの再トレーニングやアーキテクチャの変更なしに動作し、モデルとタスクに依存しない制御を提供する。
  論文  参考訳（メタデータ） (2025-04-02T22:03:11Z)
• Mitigating Hallucinations in Large Vision-Language Models with Internal Fact-based Contrastive Decoding [5.424048651554831]
  内部Fact-based Contrastive Decoding (IFCD)は、大規模視覚言語モデル(LVLM)の推論過程における幻覚の緩和と抑制を目的としている。 IFCDはLVLMの出力を校正し、最終予測から幻覚ロジットを効果的に除去する。 実験の結果, IFCD はPOPE では平均9% の精度向上, MME では8% の精度向上を実現し, オブジェクトレベルの幻覚と属性レベルの幻覚の両方を著しく軽減することがわかった。
  論文  参考訳（メタデータ） (2025-02-03T05:08:35Z)
• Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
  大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。 LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。 本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T17:56:28Z)
• You Only Train Once: A Unified Framework for Both Full-Reference and No-Reference Image Quality Assessment [45.62136459502005]
  本稿では,完全な参照 (FR) と非参照 (NR) IQA を行うネットワークを提案する。 まず、入力画像から多レベル特徴を抽出するためにエンコーダを用いる。 FRおよびNR入力のユニバーサルアダプタとして階層的注意(HA)モジュールを提案する。 エンコーダの浅い層と深い層との間の特徴相関を調べるために, セマンティック・ディストーション・アウェア (SDA) モジュールを提案する。
  論文  参考訳（メタデータ） (2023-10-14T11:03:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。