論文の概要: Mitigating Visual Degradation in MLLMs via Spatial-Spectral Visual Anchor Learning

• arxiv url: http://arxiv.org/abs/2608.01635v1
• Date: Mon, 03 Aug 2026 03:07:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.308852
• Title: Mitigating Visual Degradation in MLLMs via Spatial-Spectral Visual Anchor Learning
• Title（参考訳）: 空間スペクトル型視覚アンカー学習によるMLLMの視覚劣化の軽減
• Abstract要約: 内部MLLM表現は、推論中に元のセマンティック状態から急速に逸脱し、深刻な情報劣化を引き起こす。 既存の手法は、外部視覚基盤モデル(VFM)を活用して内部表現を整列させようとする。 本稿では,空間スペクトル型視覚アンカー学習(SSVAL)を提案する。
• 参考スコア（独自算出の注目度）: 22.41229301305798
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the progress of multimodal large language models (MLLMs), they continue to exhibit deficiencies in visual perception. Following visual instruction tuning, internal MLLM representations rapidly deviate from their original semantic states during inference, causing severe information degradation. While existing methods attempt to leverage external vision foundation models (VFMs) to align internal representations, we find that direct alignment with VFMs enhances visual semantics but fails to mitigate representation deviation. To address this, we propose Spatial-Spectral Visual Anchor Learning (SSVAL). The core of SSVAL is Visual Anchor Prompt Injection (VAPI), which introduces prompts that absorb rich knowledge from external VFMs during training, enabling them to serve as stable visual anchors that mitigate representation deviation during inference. Additionally, we incorporate auxiliary spatial and frequency-domain representation alignment losses to provide complementary vision-specific supervision at intermediate LLM layers. Extensive experiments demonstrate that SSVAL significantly outperforms existing methods. Code are available on our \href{https://msls38.github.io/SSVAL/}{project page}.
• Abstract（参考訳）: MLLM(Multimodal large language model)の進歩にもかかわらず、視覚知覚の欠如が続いている。 視覚的インストラクションチューニングの後、内部MLLM表現は推論中に元のセマンティック状態から急速に逸脱し、深刻な情報劣化を引き起こした。 既存の手法では、外部視基盤モデル(VFM)を用いて内部表現の整合を図ろうとするが、VFMとの直接的な整合性は視覚意味を増すが、表現の偏差を緩和することができない。 そこで本稿では,空間スペクトル型視覚アンカー学習(SSVAL)を提案する。 SSVALの中核であるVisual Anchor Prompt Injection (VAPI)は、トレーニング中に外部のVFMから豊富な知識を吸収するプロンプトを導入し、推論中の表現偏差を軽減する安定した視覚アンカーとして機能する。 さらに、中間LLM層において、補助的な空間領域と周波数領域のアライメントアライメント損失を相補的な視覚固有の監視を提供するために組み込んだ。 大規模な実験により、SSVALは既存の手法よりも大幅に優れていることが示された。 コードは我々の \href{https://msls38.github.io/SSVAL/}{project page} で入手できる。

関連論文リスト

• From Attenuation to Attention: Variational Information Flow Manipulation for Fine-Grained Visual Perception [12.4823697158657]
  MLLM(Multimodal Large Language Models)は、一般的な視覚的理解において印象的な能力を示す。 彼らはしばしば、小さな物体を識別したり、微妙な視覚的関係を識別する必要のある、きめ細かい知覚タスクに干渉する。 この制限は、ネットワーク伝搬中の支配的なテキストトークンによって、細粒度の細かい視覚信号が早期に抑制または希釈される現象である、視覚減衰に起因している。 既存の入力中心のソリューションは、情報損失の本質的なメカニズムを根本的に逆転させることができない。 本稿では,この課題に対処するための変動情報フロー(VIF)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-14T09:32:13Z)
• Predictive Regularization Against Visual Representation Degradation in Multimodal Large Language Models [84.94288033791346]
  我々は,MLLMにおける視覚的表現の劣化という,広範にわたる課題を明らかにするために,詳細な診断分析を行う。 我々は,この現象を,単一のテキスト生成目標によって引き起こされる視覚的犠牲とみなし,そのモデルが解答生成の最適化のためにその視覚的忠実度を損なう。 本研究では,初期視覚特性を予測するために,劣化した中間特徴を強制的に予測し,MLLMの内部表現に固有の視覚特性を維持するための予測正則化を提案する。
  論文  参考訳（メタデータ） (2026-03-21T13:10:37Z)
• Look Carefully: Adaptive Visual Reinforcements in Multimodal Large Language Models for Hallucination Mitigation [51.743225614196774]
  マルチモーダル大言語モデル (MLLM) は視覚言語推論において顕著な進歩を遂げている。 彼らは幻覚に弱いままであり、そこで生成されたコンテンツは視覚的証拠から逸脱する。 近年の視覚強調法では、復号時に視覚トークンを補強することでこの問題に対処しようとしている。 本稿では,MLLMのトレーニングフリーフレームワークであるAdaptive Visual Reinforcement (AIR)を提案する。
  論文  参考訳（メタデータ） (2026-02-27T14:18:51Z)
• Unleashing the Intrinsic Visual Representation Capability of Multimodal Large Language Models [58.91911788912665]
  より識別的な視覚表現の学習において,MLLMの学習を容易にする新しい学習フレームワークであるLaVerを提案する。 本手法はMLLMに対して直接視覚的アクティベーションを提供し,視覚的アサインメントが増大し,視覚情報の利用が向上したことを示す。
  論文  参考訳（メタデータ） (2025-12-06T04:20:13Z)
• Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
  大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。 LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。 本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T17:56:28Z)
• Mitigating Object Hallucination in Large Vision-Language Models via Image-Grounded Guidance [51.30560006045442]
  Image-gRounded guIdaNcE (MARINE)は、トレーニングフリーかつAPIフリーのフレームワークである。 MARINEは、LVLMに画像グラウンドガイダンスを導入することにより、推論中の物体の幻覚を効果的かつ効率的に低減する。 私たちのフレームワークの柔軟性は、さらに複数のビジョンモデルの統合を可能にし、より信頼性が高く堅牢なオブジェクトレベルのガイダンスを可能にします。
  論文  参考訳（メタデータ） (2024-02-13T18:59:05Z)
• Contrastive Visual-Linguistic Pretraining [48.88553854384866]
  コントラスト的視覚言語事前学習は、コントラスト的学習に基づいて構築された視覚的自己監督的損失を構成する。 VQA, GQA, NLVR2などの下流タスクで評価した。
  論文  参考訳（メタデータ） (2020-07-26T14:26:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。