論文の概要: AdaVSkip: Adaptive Visual Token Skipping Across Layers For Efficient MLLMs Inference
- arxiv url: http://arxiv.org/abs/2609.15131v1
- Date: Mon, 14 Sep 2026 07:07:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.126274
- Title: AdaVSkip: Adaptive Visual Token Skipping Across Layers For Efficient MLLMs Inference
- Title（参考訳）: AdaVSkip: 効率的なMLLM推論のための階層横断の適応型ビジュアルトークンスキッピング
- Abstract要約: マルチモーダル・大規模言語モデル(MLLM)は、すべてのトランスフォーマー層にまたがる多数の視覚トークンを処理するために、かなりの計算を必要とする。
本稿では,AdaVSkipを提案する。AdaVSkipは各層に2つの軽量ルータを装備し,視覚トークンが通過するか否かを独立に判断する。
AdaVSkipは、計算量を大幅に減らしながら、強いタスク性能を維持している。
- 参考スコア（独自算出の注目度）: 14.50173720268662
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal large language models (MLLMs) require substantial computation to process numerous visual tokens across all transformer layers. Most methods for efficient MLLM inference exploit horizontal redundancy by compressing visual tokens. Beyond token reduction, recent studies exploit vertical redundancy through early exit or fixed-layer skipping. However, we find that the extent and distribution of this redundancy vary across inputs and differ between self-attention and MLP modules. Motivated by these observations, we propose AdaVSkip, which equips each layer with two lightweight routers that independently determine whether visual tokens pass through by or skip the self-attention and MLP modules. These decisions collectively define an input-specific visual-computation path, but their discrete and non-differentiable nature makes learning effective paths challenging. To address this challenge, we develop a progressive two-stage training framework that updates only the routers while keeping the backbone frozen. Stage I establishes an initial routing policy through supervised training with input-specific targets derived from module-wise necessity scores. To further align the routing policy with task performance, Stage II uses reinforcement learning to optimize routing decisions with direct feedback from generated answers. It combines an answer correctness reward with a skip-consistency reward that discourages excessive retention of visual-token computation. Across three MLLM backbones, AdaVSkip maintains strong task performance with substantially less computation. On LLaVA-NeXT-7B, AdaVSkip reduces FLOPs by 53.2\% while preserving the original model's average performance. Combining it with visual token compression increases this reduction to 91.2\%, while retaining 97.2\% of the original performance on average.
- Abstract（参考訳）: マルチモーダル・大規模言語モデル(MLLM)は、すべてのトランスフォーマー層にまたがる多数の視覚トークンを処理するために、かなりの計算を必要とする。
効率的なMLLM推論のためのほとんどの方法は、視覚トークンを圧縮することで水平冗長性を利用する。
トークン削減以外にも、最近の研究は早期出口や固定層スキップによる垂直冗長性を利用している。
しかし,この冗長性の程度と分布は入力によって異なり,自己注意モジュールとMLPモジュールの違いが判明した。
これらの観測から得られたAdaVSkipを提案する。AdaVSkipは、各層に2つの軽量ルータを装備し、視覚トークンが自己注意モジュールとMLPモジュールを通過またはスキップするか否かを独立に決定する。
これらの決定は、インプット固有のビジュアル・コンピューティング・パスを集合的に定義するが、その離散的で微分不可能な性質は、学習の効果的なパスを困難にしている。
この課題に対処するため、バックボーンを凍結したままルータのみを更新するプログレッシブな2段階トレーニングフレームワークを開発した。
ステージIでは,モジュール単位の要求スコアから得られる入力固有目標を用いた教師付きトレーニングを通じて,初期ルーティングポリシを確立する。
ルーティングポリシーとタスクのパフォーマンスをさらに整合させるため、Stage IIは強化学習を使用して、生成した回答から直接のフィードバックでルーティング決定を最適化する。
答えの正当性報酬とスキップ一貫性報酬を組み合わせることで、視覚的トーケン計算の過剰な保持を回避できる。
3つのMLLMバックボーンにまたがって、AdaVSkipは計算量を大幅に減らし、強力なタスク性能を維持している。
LLaVA-NeXT-7Bでは、AdaVSkipはオリジナルのモデルの平均性能を維持しながらFLOPを53.2\%削減する。
視覚的トークン圧縮と組み合わせることで、この削減は91.2\%に増加し、元のパフォーマンスの97.2\%を平均で保持する。
関連論文リスト
- ERA: Entropy-Guided Visual Token Pruning with Rectified Attention for Efficient MLLMs [77.57757084153083]
本稿では,効率的なMLLMを実現するために,Rectified Attention を用いたエントロピー誘導型ビジュアルトークン解析フレームワーク ERA を提案する。
ERAはDEP(Dual-view Entropy Pruning)、BTR(Bias-Aware Tokencycle)、LAR(Logit-Reserving Attention Rectification)の3つの重要な構成要素から構成される。
論文 参考訳（メタデータ） (2026-06-30T17:20:29Z) - One Layer's Trash is Another Layer's Treasure: Adaptive Layer-wise Visual Token Selection in LVLMs [18.48496973561215]
LVLM(Large Vision-Language Models)は様々なマルチモーダルタスクにまたがって大きな成功を収めているが、その実際の展開は長い視覚トークンから生じる計算負担によって制約されている。
本稿では,従来の静的トークンプルーニングパラダイムから切り離された新しいフレームワークであるAdaptive Layer-wise Visual Token Selection (ALVTS)を提案する。
89%のトークン圧縮比で、ALVTSはオリジナルのモデルの96.7%の精度を維持しており、LVLM推論の効率と精度のトレードオフが優れている。
論文 参考訳（メタデータ） (2026-06-12T08:58:58Z) - Look Less, Reason More: Block-wise Attention Skipping for Efficient Multimodal LLMs [89.7106332677868]
意味進化から空間的相互作用を分離する学習自由推論パラダイムであるVisual-Skipを提案する。
V-Skipは、ブロックワイドの空間性を達成するために、冗長な視覚的注意を効果的に回避し、様々なMLLM間で94.16%から100.31%のパフォーマンス維持を維持している。
論文 参考訳（メタデータ） (2026-06-07T08:32:13Z) - Stage-adaptive Token Selection for Efficient Omni-modal LLMs [17.161087166882744]
om-LLMの層単位でのトークン依存性を解析する。
効率的なom-LLM推論のための訓練不要な段階適応トークン選択法を提案する。
論文 参考訳（メタデータ） (2026-05-19T15:55:16Z) - Parallel Vision Token Scheduling for Fast and Accurate Multimodal LMMs Inference [68.4758228017823]
ParVTSは、ビジュアルトークンを被写体および非オブジェクトグループに分割し、それらを並列に処理し、それらのセマンティクスを疑問トークンに転送し、非オブジェクトパスミッド推論を破棄する。
実験の結果、ParVTSは最大88.9%の視覚トークンを出力し、最小性能が低下し、1.77倍のスピードアップと70%のFLOPが削減された。
論文 参考訳（メタデータ） (2025-11-24T08:29:36Z) - A Comprehensive Study on Visual Token Redundancy for Discrete Diffusion-based Multimodal Large Language Models [85.30893355216486]
我々は,異なるdMLLMアーキテクチャとタスクを用いて,視覚的トークン冗長性がどのように進化するかを検討する。
本研究により, 視覚的冗長性は, 長時間のタスクを処理しながら, オフスクラッチdMLLMでのみ現れることが明らかとなった。
層スキッピングはAR-to-diffusion dMLLMの加速に有効であるのに対し、プログレッシブプルーニングやレイトステッププルーニングはストクラッチdMLLMよりも効果的である。
論文 参考訳（メタデータ） (2025-11-19T04:13:36Z) - $\mathcal{V}isi\mathcal{P}runer$: Decoding Discontinuous Cross-Modal Dynamics for Efficient Multimodal LLMs [26.779915891040236]
我々は,LLaVA-v1.5 7B上での視線関連注意計算の最大99%,FLOPの最大53.9%を削減できるトレーニングフリープルーニングフレームワークであるemphVisiPrunerを提案する。
さらに、モデルアーキテクチャと本質的なレイヤワイド処理ダイナミクスを整合させることにより、効率的なMLLMのトレーニングのための実用的なガイドラインを提供する。
論文 参考訳（メタデータ） (2025-10-20T06:40:17Z) - Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation [61.67090981767583]
本研究では,Mixture-of-Recursions (MoR)を導入した。
MoRはパラメータ効率を達成するために再帰ステップをまたいだ共有レイヤのスタックを再利用し、軽量ルータは適応トークンレベルの思考を可能にする。
また、メモリフットプリントをさらに削減するために、KVペアを最初の再帰から再利用するKV共有変種を提案する。
論文 参考訳（メタデータ） (2025-07-14T17:49:00Z) - Skip-Vision: Efficient and Scalable Acceleration of Vision-Language Models via Adaptive Token Skipping [13.846838416902575]
重要なボトルネックは、きめ細かい画像理解に必要な視覚トークンの拡散に起因する。
視覚言語モデルにおけるトレーニングと推論の非効率性に対処する統合フレームワークであるSkip-Visionを提案する。
実験の結果,Skip-Visionはトレーニング時間を最大35%短縮し,FLOPを75%,レイテンシを45%短縮した。
論文 参考訳（メタデータ） (2025-03-26T04:16:48Z) - ATP-LLaVA: Adaptive Token Pruning for Large Vision Language Models [32.6661928486072]
ATP-LLaVAは、大規模言語モデル層ごとにインスタンス固有のトークンプルーニング比を適応的に決定する新しいアプローチである。
提案手法は,7つの広く使用されているベンチマークにおいて,最小1.9%の劣化しかなく,パフォーマンスを維持しながら平均トークン数を75%削減する。
論文 参考訳（メタデータ） (2024-11-30T11:42:35Z) - Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [55.12082817901671]
我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。
MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。
以上の結果から,MaPeTはベースラインやコンペティターと同一のモデル設定で比較して,ImageNet上での競合性能を実証した。
論文 参考訳（メタデータ） (2023-06-12T18:12:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。