論文の概要: Learning to Predict Middle-Layer Attention in MLLMs for Visual Token Prunin
- arxiv url: http://arxiv.org/abs/2608.06411v1
- Date: Tue, 04 Aug 2026 05:44:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.241034
- Title: Learning to Predict Middle-Layer Attention in MLLMs for Visual Token Prunin
- Title（参考訳）: 視覚障害者のためのMLLMにおける中層注意予測の学習
- Abstract要約: サンプル固有の教師層を特定するために中層注意予測(MAP)を提案する。
MAPは、選択した層からの注意を、マルチモーダルな入力特徴から視覚的トークンの重要性を推定する軽量な予測器に蒸留する。
MAPは未処理のモデルの97.5%を保ち、視覚トークンの5.56%しか持たず、エンドツーエンドのスピードアップは3.09倍である。
- 参考スコア（独自算出の注目度）: 15.416715153165052
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal large language models (MLLMs) achieve strong performance across diverse vision-language tasks, but their efficiency is limited by the cost of processing numerous visual tokens. Visual token pruning can reduce this cost, but requires accurate token importance estimates. Recent studies have demonstrated that text-to-vision attention from middle language model layers can effectively guide visual token pruning, typically using attention from a predefined middle layer to select the visual tokens to retain. Two problems therefore remain. First, our analysis shows that the layer whose attention is most responsive to the question varies substantially across samples, making a fixed layer suboptimal. Second, obtaining attention from the appropriate middle layer requires processing numerous visual tokens through several language model layers, by which point considerable computation has already been spent. To address both problems, we propose Middle-layer Attention Prediction (MAP), which uses Question Contrastive Teacher Selection to identify a sample-specific teacher layer by contrasting attention under the original and reference questions, and distills attention from the selected layer into a lightweight predictor that estimates visual token importance from multi-modal input features. During inference, MAP combines the predicted importance scores with a diversity criterion to prune visual tokens before the first language model layer. Thus, MAP requires no attention maps for pruning and remains compatible with existing inference acceleration techniques. Across ten benchmarks on LLaVA-NeXT-7B, MAP retains 97.5% of the unpruned model performance with only 5.56% of the visual tokens, yielding a 3.09x end-to-end speedup.
- Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)は様々な視覚言語タスクにおいて高い性能を達成するが、その効率は多数の視覚トークンを処理するコストによって制限される。
ビジュアルトークンのプルーニングは、このコストを削減することができるが、正確なトークンの重要度推定を必要とする。
近年の研究では、中間言語モデル層からのテキスト・ツー・ビジョンの注意が視覚的トークン・プルーニングを効果的に導くことが示されている。
そのため、2つの問題が残る。
まず,質問に対して最も注意を払っている層が試料間で大きく異なり,固定層が最適であることを示す。
第二に、適切な中間層から注意を引くためには、複数の言語モデル層を通して多数のビジュアルトークンを処理する必要がある。
両問題に対処するために,質問コントラスト型教師選択を用いた中層注意予測(MAP)を提案し,原点と参照点を対比して,サンプル固有の教師層を識別し,選択した層からの注意をマルチモーダルな入力特徴から視覚トークンの重要度を推定する軽量な予測器に抽出する。
推論中、MAPは予測された重要度スコアと多様性基準を組み合わせることで、第1言語モデルレイヤーの前に視覚トークンをプーンする。
したがって、MAPはプルーニングに注意マップを必要とせず、既存の推論加速技術と互換性が保たれている。
LLaVA-NeXT-7Bの10ベンチマークでMAPは97.5%の未処理モデル性能を維持し、5.56%のビジュアルトークンしか保持せず、エンドツーエンドのスピードアップは3.09倍である。
関連論文リスト
- One Layer's Trash is Another Layer's Treasure: Adaptive Layer-wise Visual Token Selection in LVLMs [18.48496973561215]
LVLM(Large Vision-Language Models)は様々なマルチモーダルタスクにまたがって大きな成功を収めているが、その実際の展開は長い視覚トークンから生じる計算負担によって制約されている。
本稿では,従来の静的トークンプルーニングパラダイムから切り離された新しいフレームワークであるAdaptive Layer-wise Visual Token Selection (ALVTS)を提案する。
89%のトークン圧縮比で、ALVTSはオリジナルのモデルの96.7%の精度を維持しており、LVLM推論の効率と精度のトレードオフが優れている。
論文 参考訳（メタデータ） (2026-06-12T08:58:58Z) - Look Less, Reason More: Block-wise Attention Skipping for Efficient Multimodal LLMs [89.7106332677868]
意味進化から空間的相互作用を分離する学習自由推論パラダイムであるVisual-Skipを提案する。
V-Skipは、ブロックワイドの空間性を達成するために、冗長な視覚的注意を効果的に回避し、様々なMLLM間で94.16%から100.31%のパフォーマンス維持を維持している。
論文 参考訳（メタデータ） (2026-06-07T08:32:13Z) - LearnPruner: Rethinking Attention-based Token Pruning in Vision Language Models [8.039490357019801]
VLM(Vision-Language Models)は近年,視覚的理解と推論において顕著な能力を示した。
また、長い視覚的シーケンス入力による計算負荷も大きい。
近年の研究では、重要でない視覚トークンを抽出し、計算量を大幅に削減することでこの問題に対処している。
論文 参考訳（メタデータ） (2026-04-27T01:56:59Z) - ZSPAPrune: Zero-Shot Prompt-Aware Token Pruning for Vision-Language Models [7.7352936204066]
本稿では,タスク関連性と情報多様性のバランスとして,視覚トークンプルーニングをモデル化する新しいゼロショット手法を提案する。
本手法は,精度の低下を最小限に抑えて,最先端技術に適合または超越した性能を実現する。
これらのゲインには、GPUメモリフットプリントの大幅な削減と推論レイテンシが伴っている。
論文 参考訳（メタデータ） (2025-10-20T06:18:47Z) - Don't Just Chase "Highlighted Tokens" in MLLMs: Revisiting Visual Holistic Context Retention [50.97683288777336]
MLLM(Multimodal Large Language Models)は、巨大な視覚トークンに依存するため、計算オーバーヘッドがかなり大きい。
近年の研究では、この問題を緩和するためにトークンプルーニングが検討されている。
本稿では,効率的な推論のためのビジュアルトークン・プルーニング・フレームワークであるHoloVを提案する。
論文 参考訳（メタデータ） (2025-10-03T11:33:40Z) - AdaptInfer: Adaptive Token Pruning for Vision-Language Model Inference with Dynamical Text Guidance [7.594255363909475]
視覚言語モデル(VLM)は、視覚的質問応答(VQA)のような多モーダル推論タスクにおいて印象的な性能を達成した。
プリフィル段階で処理される多数の視覚トークンのために、それらの推論コストは依然として大きな課題である。
既存のプルーニング手法は、しばしばアテンションパターンや静的テキストプロンプトガイダンスを直接使用することに依存し、推論時に発生する動的内部信号の活用に失敗する。
InVLMにおける適応型視覚トークンプルーニングのためのプラグイン・アンド・プレイフレームワークであるAdaptInferを提案する。
論文 参考訳（メタデータ） (2025-08-08T07:27:26Z) - ToDRE: Visual Token Pruning via Diversity and Task Awareness for Efficient Large Vision-Language Models [59.47738955960352]
ToDREは、2段階でトレーニング不要なトークン圧縮フレームワークである。
トークンの多様性とトークン-タスク関連性に基づいてトークンをプルーニングすることで、優れたパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-05-24T15:47:49Z) - QuoTA: Query-oriented Token Assignment via CoT Query Decouple for Long Video Comprehension [86.0749609778104]
既存の大規模ビデオ言語モデルを拡張した,アンテホックなトレーニングフリーモジュールQuoTAを提案する。
QuoTAは、クエリ関連性に基づいて、フレームレベルの重要度スコアを戦略的に割り当てる。
クエリをChain-of-Thoughts推論で切り離し、より正確なLVLMベースのフレーム重要度スコアリングを容易にする。
論文 参考訳（メタデータ） (2025-03-11T17:59:57Z) - ToSA: Token Selective Attention for Efficient Vision Transformers [50.13756218204456]
ToSAはトークン選択型アテンションアプローチで、コンバータ層をスキップできるトークンだけでなく、参加する必要のあるトークンも識別できる。
ToSAは,ImageNet分類ベンチマークの精度を維持しながら,計算コストを大幅に削減できることを示す。
論文 参考訳（メタデータ） (2024-06-13T05:17:21Z) - Boosting Multimodal Large Language Models with Visual Tokens Withdrawal for Rapid Inference [59.91176945361035]
高速推論のためにMLLMを高速化するプラグイン・アンド・プレイモジュールであるVisual Tokens Withdrawal (VTW)を紹介した。
VTWは、あるレイヤで視覚トークンを戦略的に取り除き、テキストトークンだけがその後のレイヤに関与できるようにする。
提案手法は,マルチモーダルタスクにおいて,性能を維持しながら計算オーバーヘッドを40%以上削減できる。
論文 参考訳（メタデータ） (2024-05-09T14:38:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。