論文の概要: Just MLPs: Efficient Visual State Reconstruction for Multimodal Language Models
- arxiv url: http://arxiv.org/abs/2609.34972v1
- Date: Mon, 28 Sep 2026 11:52:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 18:12:24.818796
- Title: Just MLPs: Efficient Visual State Reconstruction for Multimodal Language Models
- Title（参考訳）: Just MLPs:マルチモーダル言語モデルのための効率的な視覚状態再構成
- Abstract要約: 大規模言語モデル(MLLM)における計算オーバーヘッドのかなりの部分を占める長い視覚トークンシーケンス
既存のアプローチは、冗長な視覚トークンを刈り取ることでこのコストを削減するが、その後のレイヤで有用になる可能性のある視覚的証拠を永久に破棄する。
視覚トークンの繰り返しトランスフォーマー進化を軽量な低ランクアダプタに置き換える$-Visionを提案する。
- 参考スコア（独自算出の注目度）: 53.964810481070636
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long visual token sequences often account for a substantial fraction of the computational overhead in multimodal large language models~(MLLMs). Existing approaches reduce this cost by pruning redundant visual tokens, but permanently discard visual evidence that may become useful in subsequent layers. We instead ask whether all visual tokens can be preserved while reducing the cost of repeatedly evolving the representations through the Transformer. To answer this question, we perform low-rank interventions on visual-to-text information flow. We find that, after visual-to-text attention is blocked, restoring only a few directions recovers most of the lost accuracy, suggesting the relevant visual influence is concentrated in a low-dimensional subspace. We further observe strong predictability in layer-specific visual states: lightweight MLPs approximate them with high cosine similarity and low reconstruction error. Motivated by these findings, we propose $δ$-Vision, which replaces repeated Transformer evolution of visual tokens with lightweight low-rank adapters that construct layer-wise visual memories while preserving all visual tokens for text retrieval. Across image and video benchmarks, $δ$-Vision achieves higher accuracy than visual token pruning baselines at comparable or lower computation, while delivering competitive inference efficiency without discarding visual tokens.
- Abstract（参考訳）: 長い視覚トークンシーケンスは、多モーダルな大言語モデル~MLLMの計算オーバーヘッドのかなりの部分を占めることが多い。
既存のアプローチは、冗長な視覚トークンを刈り取ることでこのコストを削減するが、その後のレイヤで有用になる可能性のある視覚的証拠を永久に破棄する。
代わりに、Transformerを通して繰り返し表現を進化させるコストを削減しながら、すべてのビジュアルトークンを保存できるかどうかを尋ねます。
この問いに答えるために、視覚からテキストへの情報の流れに対する低ランクな介入を行う。
視覚からテキストへの注意が遮断された後、少数の方向のみを復元するだけで、失われた精度の大部分が回復し、関連する視覚的影響が低次元のサブ空間に集中していることが示唆された。
さらに, 層別視覚状態の強い予測可能性について考察し, 軽量MLPはコサイン類似度と低再構成誤差を近似する。
これらの知見に触発され,テキスト検索のためのすべての視覚トークンを保存しながら,レイヤワイドな視覚記憶を構成する軽量な低ランクアダプタを用いて,視覚トークンのトランスフォーマー進化を繰り返す$δ$-Visionを提案する。
画像とビデオのベンチマークを通じて、$δ$-Visionは、ビジュアルトークンを捨てることなく競合する推論効率を提供しながら、同等または低い計算で、ビジュアルトークンのプルーニングベースラインよりも高い精度を達成する。
関連論文リスト
- PoRe: Position-Reweighted Visual Token Pruning for Vision Language Models [12.189644988996022]
本稿では,視覚的トークンプルーニングにおける遅延バイアスを軽減するための,極めて単純かつ効果的なアプローチを提案する。
画像内の空間的位置に応じて視覚的トークンの注意点を調節する簡単なリウェイト機構を提案する。
提案手法は,既存のビジュアルトークンプルーニングフレームワークにシームレスに組み込むことができるプラグイン・アンド・プレイソリューションである。
論文 参考訳（メタデータ） (2025-08-25T08:56:32Z) - CoViPAL: Layer-wise Contextualized Visual Token Pruning for Large Vision-Language Models [75.88232735646018]
LVLM(Large Vision-Language Models)は、画像やビデオから抽出されたテキストトークンとビジョントークンからなるマルチモーダル入力を処理する。
既存の手法は冗長な視覚トークンを創りだそうとしており、視覚表現のかなりの冗長性を明らかにしている。
我々は,LVLMで処理される前に冗長な視覚トークンを予測・削除するために,Plug-and-Play Pruning Module (PPM) を用いるレイヤワイズなコンテキスト対応型視覚トークンプルーニング手法であるCoViPALを提案する。
論文 参考訳（メタデータ） (2025-08-24T07:47:00Z) - VFlowOpt: A Token Pruning Framework for LMMs with Visual Information Flow-Guided Optimization [70.98122339799218]
LMM(Large Multimodal Models)は、多数の視覚トークンを微粒な視覚情報に活用することにより、視覚言語タスクに優れる。
推論中の視覚トークンを減らすことを目的とした以前の研究は、一般的に、視覚のみのトークンや視覚言語トークンの注意スコアから得られた重要マップを利用して、1つまたは複数のプルーニング段階にわたってトークンをプルーンする。
重要地図導出プロセスとリサイクル機構を備えたプログレッシブプルーニングモジュールを導入したトークンプルーニングフレームワークであるVFlowOptを提案する。
実験により、VFlowOptは、同等のパフォーマンスを維持しながら、90%のビジュアルトークンをプルークでき、KVキャッシュメモリが89%削減され、3.8になった。
論文 参考訳（メタデータ） (2025-08-07T09:47:21Z) - Rethinking Visual Token Reduction in LVLMs under Cross-modal Misalignment [38.04426918886084]
視覚言語モデル(LVLM)は、視覚入力をパッチレベルのトークンの密度の高いシーケンスとしてエンコードし、微細なセマンティクスをキャプチャする。
これまでは、大型言語モデル(LLM)の前か中のいずれかで、視覚トークンの削減を検討してきた。
トレーニングフリーで視覚のみのプルーニングフレームワークであるVisionDropを導入し、モーダル内(視覚から視覚への)注目に基づいて情報的視覚トークンを選択する。
論文 参考訳（メタデータ） (2025-06-27T14:55:40Z) - Grounding Language with Vision: A Conditional Mutual Information Calibrated Decoding Strategy for Reducing Hallucinations in LVLMs [51.93737995405164]
LVLM(Large Vision-Language Models)は幻覚の影響を受けやすいモデルである。
本稿では,条件付きポイントワイド・ミューチュアル・インフォメーション(C-PMI)キャリブレーション・デコーディング・ストラテジーを導入する。
提案手法は,復号効率を保ちながら,LVLMの幻覚を著しく低減することを示す。
論文 参考訳（メタデータ） (2025-05-26T08:36:10Z) - D-Attn: Decomposed Attention for Large Vision-and-Language Models [29.611769371733672]
大規模視覚・言語モデル(LVLM)のためのより柔軟な注意アーキテクチャである分解注意アーキテクチャ(D-Attn)を提案する。
D-AttnはLVLMの1次元因果自認を視覚的・視覚的・視覚的・テキスト的・テキスト的に分解する。
実験と解析によりD-Attnの有効性が検証され、複数の画像ベンチマークで大幅な改善が示された。
論文 参考訳（メタデータ） (2025-02-04T00:46:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。