論文の概要: Frequency-Modulated Visual Restoration for Matryoshka Large Multimodal Models

• arxiv url: http://arxiv.org/abs/2603.11220v1
• Date: Wed, 11 Mar 2026 18:33:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:25.588364
• Title: Frequency-Modulated Visual Restoration for Matryoshka Large Multimodal Models
• Title（参考訳）: 大規模マルチモーダルモデルのための周波数変調型視覚再生
• Authors: Qingtao Pan, Zhihao Dou, Shuo Li,
• Abstract要約: 視覚的トークン低減の下でのLMMの推論能力を高めるために,周波数変調型視覚回復戦略を導入する。 FMVR-LLaVAは、LLaVA-1.5-7BのFLOPを89%削減し、元の精度のほぼ100%を維持した。
• 参考スコア（独自算出の注目度）: 6.740963476294901
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Multimodal Models (LMMs) struggle to adapt varying computational budgets due to numerous visual tokens. Previous methods attempted to reduce the number of visual tokens before or within LLMs. However, these strategies inevitably result in the loss of visual semantic. To address these issues, we introduce FMVR, a plug-and-play and extremely simple Frequency-Modulated Visual Restoration strategy to boost the reasoning ability of LMMs under visual token reduction. Specifically, FMVR disentangles the visual representation of fewer visual tokens into low- and high-frequency components through AvgPool and MaxPool. The derived frequencies are subsequently modulated using lightweight learnable parameters. The high-frequency from AvgPool acts as a saliency filter to enhance saliency visual semantics, while the low-frequency from MaxPool acts as an anti-saliency filter to strengthen weak visual semantics. It enables the preservation of visual semantics dominated by few visual tokens and the restoration of diluted visual semantics. Additionally, we inject FMVR into Matryoshka Representation Learning to learn coarse-to-fine visual token sets, thus enabling to elastically adjust the number of visual tokens during inference while maintaining comparable performance. Experiments across 10 image-based and 4 video-based bench marks demonstrate that FMVR-LLaVA reduce the FLOPs of LLaVA-1.5-7B by 89%, while maintaining almost 100% of the original accuracy. The code will be open.
• Abstract（参考訳）: 大規模マルチモーダルモデル(LMM)は、多くの視覚トークンのために様々な計算予算を適応させるのに苦労する。 以前は、LCMの前後で視覚トークンの数を減らそうとしていた。 しかし、これらの戦略は必然的に視覚的な意味が失われる。 これらの課題に対処するため、FMVRは、視覚的トークン削減の下でのLMMの推論能力を高めるために、プラグアンドプレイで非常にシンプルな周波数変調型視覚修復戦略である。 具体的には、FMVRはAvgPoolとMaxPoolを通じて、少ないビジュアルトークンの視覚的表現を低周波および高周波のコンポーネントに切り離す。 導出周波数はその後、軽量な学習可能なパラメータを用いて変調される。 AvgPoolの高周波は唾液度フィルタとして機能し、MaxPoolの低周波は抗唾液度フィルタとして機能し、弱い視覚的セマンティクスを強化する。 視覚的意味論の保存と希薄な視覚的意味論の復元を可能にする。 さらに、FMVRをMatryoshka Representation Learningに注入し、粗い視覚トークン集合を学習することにより、比較性能を維持しつつ、推論中に視覚トークンの数を弾性的に調整することができる。 FMVR-LLaVAは、LLaVA-1.5-7BのFLOPを89%削減し、元の精度のほぼ100%を維持した。 コードはオープンします。

関連論文リスト

• CoViPAL: Layer-wise Contextualized Visual Token Pruning for Large Vision-Language Models [75.88232735646018]
  LVLM(Large Vision-Language Models)は、画像やビデオから抽出されたテキストトークンとビジョントークンからなるマルチモーダル入力を処理する。 既存の手法は冗長な視覚トークンを創りだそうとしており、視覚表現のかなりの冗長性を明らかにしている。 我々は,LVLMで処理される前に冗長な視覚トークンを予測・削除するために,Plug-and-Play Pruning Module (PPM) を用いるレイヤワイズなコンテキスト対応型視覚トークンプルーニング手法であるCoViPALを提案する。
  論文  参考訳（メタデータ） (2025-08-24T07:47:00Z)
• Rethinking Visual Token Reduction in LVLMs under Cross-modal Misalignment [38.04426918886084]
  視覚言語モデル(LVLM)は、視覚入力をパッチレベルのトークンの密度の高いシーケンスとしてエンコードし、微細なセマンティクスをキャプチャする。 これまでは、大型言語モデル(LLM)の前か中のいずれかで、視覚トークンの削減を検討してきた。 トレーニングフリーで視覚のみのプルーニングフレームワークであるVisionDropを導入し、モーダル内(視覚から視覚への)注目に基づいて情報的視覚トークンを選択する。
  論文  参考訳（メタデータ） (2025-06-27T14:55:40Z)
• Autoregressive Semantic Visual Reconstruction Helps VLMs Understand Better [44.15671594378141]
  自動回帰視覚再構成(ASVR)を導入し,統合された自己回帰フレームワーク内での視覚的・テキスト的モダリティの同時学習を実現する。 ASVRは14のマルチモーダルベンチマークの平均スコアでLLaVA-1.5を5%改善する。
  論文  参考訳（メタデータ） (2025-06-10T17:57:50Z)
• Inference Optimal VLMs Need Fewer Visual Tokens and More Parameters [54.01228554126122]
  視覚言語モデル(VLM)は、様々な視覚的理解と推論タスクにまたがる強力な能力を示している。 推論コストを削減するために、LLM(Large Language Models)を縮小するか、イメージを表すのに必要な入力トークンの数を削減できる。 高速圧縮に適したトークン圧縮アルゴリズムを設計する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2024-11-05T18:54:21Z)
• VideoLLM-MoD: Efficient Video-Language Streaming with Mixture-of-Depths Vision Computation [66.00245701441547]
  我々は、視覚トークンの数を減らさずに、冗長な視覚トークンを「スキップ層」として活用することで、視覚計算を減らし、新しいアプローチを導入する。 提案手法であるVideoLLM-MoDは深度混合LLMにインスパイアされ,長期・ストリーミングビデオにおける多数の視覚トークンの課題に対処する。
  論文  参考訳（メタデータ） (2024-08-29T17:21:58Z)
• LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models [35.88374542519597]
  大規模マルチモーダルモデル(LMM)は、視覚エンコーダと大きな言語モデルとを接続することで、視覚的推論能力を示す。 近年のLMMには、高解像度の画像やビデオなど、より複雑な視覚入力が組み込まれており、視覚トークンの数が大幅に増加する。 我々は,LMMの性能を損なうことなく,視覚トークンの数を著しく削減する適応型視覚トークン削減戦略であるPruMergeを提案する。
  論文  参考訳（メタデータ） (2024-03-22T17:59:52Z)
• An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models [65.37846460916042]
  視覚的トークンに対する注意計算は,LVLMの深い層において極めて非効率であることがわかった。 本稿では,計算効率の最適化を目的とした多用途プラグアンドプレイ方式であるFastVを紹介する。
  論文  参考訳（メタデータ） (2024-03-11T14:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。