論文の概要: LearnPrunerV2: Learnable Progressive Token Pruning for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.36986v1
• Date: Tue, 27 Oct 2026 10:35:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.567957
• Title: LearnPrunerV2: Learnable Progressive Token Pruning for Vision-Language Models
• Title（参考訳）: LearnPrunerV2:視覚言語モデルのための学習可能なプログレッシブ・トークン・プルーニング
• Abstract要約: 本稿では,従来の2段階フレームワーク(LearnPruner)を完全学習可能なアーキテクチャに拡張したLearprunerV2を提案する。 LearnPrunerV2は、LLaVA-v1.5上で77.8%の視覚トークンをプルーニングする際に、元のパフォーマンスの99.8%を保持し、精度と効率のトレードオフが優れている。
• 参考スコア（独自算出の注目度）: 10.02823526539763
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Models (VLMs) have demonstrated remarkable multimodal capabilities but suffer from prohibitive computational overhead due to the massive number of visual tokens. While token pruning is a promising solution, existing methods still suffer from two major drawbacks: 1) unreliable pruning criteria that fail to accurately localize task-specific regions due to inherent attention biases or query-agnostic designs, and 2) suboptimal pruning strategies that employ rigid, non-adaptive schedules, overlooking the dynamic evolution of token redundancy across different model depths. To address these challenges, we propose LearnPrunerV2, which extends the previous two-stage heuristic framework (LearnPruner) into a fully learnable architecture. Specifically, we integrate lightweight learnable modules into every layer of the VLM backbone, which estimate token importance by fusing intrinsic visual saliency with extrinsic query relevance captured via a shadow token. By uncovering a consistent staircase redundancy pattern across VLM layers, we further introduce Budget-Deterministic Pruning (BDP) to establish a hardware-friendly schedule with fixed per-layer budgets. Extensive experimental results across various benchmarks and VLMs demonstrate that LearnPrunerV2 consistently outperform previous state-of-the-art methods. Notably, LearnPrunerV2 preserves 99.8% of the original performance when pruning 77.8% of visual tokens on LLaVA-v1.5, achieving a superior accuracy-efficiency trade-off.
• Abstract（参考訳）: VLM(Vision-Language Models)は、目覚ましいマルチモーダル機能を示すが、膨大な数の視覚トークンのために計算オーバーヘッドが禁じられている。 トークンのプルーニングは有望な解決策だが、既存のメソッドには2つの大きな欠点がある。 1)本質的な注意バイアスやクエリ非依存設計によるタスク特定領域の正確なローカライズに失敗する信頼性の低いプルーニング基準 2) 異なるモデル深さにわたるトークン冗長性の動的進化を見越して, 厳密で非適応的なスケジュールを用いる準最適プルーニング戦略。 これらの課題に対処するため,従来の2段階ヒューリスティックフレームワーク(LearnPruner)を完全学習可能なアーキテクチャに拡張したLearnPrunerV2を提案する。 具体的には,VLMバックボーンのすべての層に軽量な学習可能なモジュールを統合することで,シャドウトークンを介して取得した外部クエリ関連性を用いて,固有の視覚的サリエンシを融合することによりトークンの重要性を推定する。 VLM層にまたがる一貫した階段冗長パターンを明らかにすることで、Budget-Deterministic Pruning (BDP)を導入し、固定層単位の予算でハードウェアフレンドリーなスケジュールを確立する。 様々なベンチマークやVLMの大規模な実験結果から、LearnPrunerV2は従来の最先端手法を一貫して上回っていることが分かる。 特にLearnerPrunerV2は、LLaVA-v1.5上で77.8%の視覚トークンをプルーニングする際に、元のパフォーマンスの99.8%を保持し、精度と効率のトレードオフが優れている。

関連論文リスト

• Multi-Image Visual Token Pruning in Large Visual Language Models [54.54306404596005]
  本稿では,多種多様な視覚言語モデル(LVLM)に適用可能な,トレーニングフリーで適応型ビジュアルトーケンプルーニング(AVTP)フレームワークを提案する。 種々のLVLMにおける視覚的注意分布の実験的解析に基づいて,プルーニング層を戦略的に決定する。 AVTPの有効性とロバスト性を示すため,様々なLVLMに対して広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2026-08-27T08:45:16Z)
• One Layer's Trash is Another Layer's Treasure: Adaptive Layer-wise Visual Token Selection in LVLMs [18.48496973561215]
  LVLM(Large Vision-Language Models)は様々なマルチモーダルタスクにまたがって大きな成功を収めているが、その実際の展開は長い視覚トークンから生じる計算負担によって制約されている。 本稿では,従来の静的トークンプルーニングパラダイムから切り離された新しいフレームワークであるAdaptive Layer-wise Visual Token Selection (ALVTS)を提案する。 89%のトークン圧縮比で、ALVTSはオリジナルのモデルの96.7%の精度を維持しており、LVLM推論の効率と精度のトレードオフが優れている。
  論文  参考訳（メタデータ） (2026-06-12T08:58:58Z)
• ERASE: Eliminating Redundant Visual Tokens via Adaptive Two-Stage Token Pruning [4.929399529593515]
  画像の複雑度に適応したプルーニング戦略により、正常なトークンを識別し、保持する2段階の視覚トークンプルーニングフレームワークであるERASEを提案する。 実験の結果,ERASEは精度を保ちながら視覚トークンを著しく減少させることがわかった。
  論文  参考訳（メタデータ） (2026-05-11T04:50:05Z)
• BFA++: Hierarchical Best-Feature-Aware Token Prune for Multi-View Vision Language Action Model [44.72361174037017]
  VLA(Vision-Language-Action)モデルは、VLM(Large Vision Language Models)を利用して、命令と視覚入力を共同で解釈することで、大きなブレークスルーを達成した。 視覚トークンの大幅な増加、特にマルチビュー入力は、リアルタイムロボット操作に深刻な課題をもたらす。 VLAモデルに特化して設計された動的トークンプルーニングフレームワークであるBFA++を提案する。
  論文  参考訳（メタデータ） (2026-02-24T05:31:52Z)
• SwiftVLM: Efficient Vision-Language Model Inference via Cross-Layer Token Bypass [20.7003663809766]
  視覚トークンプルーニングは、視覚言語モデルの計算コストを削減するための有望なアプローチである。 我々は、選択されていない視覚トークンを保存し、その後のプルーニングステージに転送する、バイパスと呼ばれる新しいプルーニングパラダイムを導入する。 このパラダイムに基づいて,強力な視覚トークン選択機能を備えたモデル固有の層でプルーニングを行う,単純かつトレーニング不要なSwiftVLMを提案する。
  論文  参考訳（メタデータ） (2026-02-03T05:42:51Z)
• Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning [82.39668822222386]
  ビジョントークンプルーニングは、効率的なビジョン言語モデル(VLM)のための効果的なアクセラレーション手法であることが証明された。 空間的整合性を維持しつつ,効率的な特徴集約を実現するための2段階のトークンプルーニングフレームワークである$textNwa$を提案する。 実験によると、textNwa$は複数のVQAベンチマーク(94%から95%)でSOTAのパフォーマンスを達成し、視覚的グラウンドタスク(7%から47%)を大幅に改善している。
  論文  参考訳（メタデータ） (2026-02-03T00:51:03Z)
• ViPER: Empowering the Self-Evolution of Visual Perception Abilities in Vision-Language Model [61.29164681694533]
  ViPERは、自己評価と自己予測を通じて反復的な進化を可能にするように設計されたセルフブートストラッピングフレームワークである。 Qwen-Viperは、汎用性を維持しながら、さまざまな視覚言語シナリオにおける優れたパフォーマンスを一貫して示す。
  論文  参考訳（メタデータ） (2025-10-28T10:42:57Z)
• CoViPAL: Layer-wise Contextualized Visual Token Pruning for Large Vision-Language Models [75.88232735646018]
  LVLM(Large Vision-Language Models)は、画像やビデオから抽出されたテキストトークンとビジョントークンからなるマルチモーダル入力を処理する。 既存の手法は冗長な視覚トークンを創りだそうとしており、視覚表現のかなりの冗長性を明らかにしている。 我々は,LVLMで処理される前に冗長な視覚トークンを予測・削除するために,Plug-and-Play Pruning Module (PPM) を用いるレイヤワイズなコンテキスト対応型視覚トークンプルーニング手法であるCoViPALを提案する。
  論文  参考訳（メタデータ） (2025-08-24T07:47:00Z)
• MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
  MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。 MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-06-29T06:41:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。