論文の概要: BtsPruner: Role-Aware Visual Token Pruning for Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2611.04537v1
• Date: Tue, 03 Nov 2026 09:07:57 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:27:47.099523
• Title: BtsPruner: Role-Aware Visual Token Pruning for Large Vision-Language Models
• Title（参考訳）: BtsPruner:大型ビジョンランゲージモデルのための役割認識型ビジュアルトーケンプルーニング
• Abstract要約: 大型視覚言語モデル(LVLM)における視覚トークンの役割の進化について検討する。 本稿では,BtsPrunerを提案する。BtsPrunerはトレーニングフリーの視覚トークンフレームワークで,補助トークンの役割を固定予算で保持する。 LLaVA-1.5、LLaVA-NeXT、Qwen-VL、InternVL、CogVLMの広範な実験により、BtsPrunerは高密度モデルの性能の91.6%を保っていることが示された。
• 参考スコア（独自算出の注目度）: 14.315020952975553
• License:
• Abstract: Large Vision-Language Models (LVLMs) often process hundreds or thousands of visual tokens, resulting in substantial computational and memory overhead during inference. Existing training-free pruning methods typically estimate token importance using language-model attention, visual attention, or feature similarity. However, these methods treat visual tokens with uniform criteria and overlook that tokens may serve different roles during visual encoding. In this work, we investigate the evolution of visual token roles in LVLMs and observe that tokens progressively transition from local detail carriers to globally referenced representatives as encoding proceeds. Based on this observation, we propose BtsPruner, a training-free role-aware visual token pruning framework that preserves complementary token roles under a fixed budget. Specifically, BtsPruner first identifies the token-role transition point based on the evolution of attention concentration. It then discovers globally referenced representatives from later encoding stages and recursively retrieves local detail tokens from earlier stages to recover complementary fine-grained evidence. Extensive experiments across LLaVA-1.5, LLaVA-NeXT, Qwen-VL, InternVL, and CogVLM demonstrate that BtsPruner achieves superior performance retention under aggressive token reduction. On LLaVA-1.5-7B, BtsPruner preserves 91.6% of the dense model's performance using only 32 of 576 visual tokens (5.6%). In the high-resolution LLaVA-NeXT-7B setting, it achieves up to a 5.95x CUDA-latency speedup.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)はしばしば数百から数千の視覚トークンを処理する。 既存のトレーニングフリープルーニング手法は、一般的に言語モデル注意、視覚的注意、特徴類似性を用いてトークンの重要性を推定する。 しかし、これらの手法は、視覚的トークンを一様基準で扱い、トークンが視覚的エンコーディング中に異なる役割を果たす可能性があるという見落としがある。 本研究では,LVLMにおける視覚的トークンの役割の進化について検討し,トークンが局所的な細部キャリアからグローバルに参照される代表者へと徐々に移行していくことを観察する。 そこで本研究では,BtsPrunerを提案する。BtsPrunerは,固定予算下で補完的なトークンロールを保持する,トレーニング不要なロール認識型ビジュアルトークンプルーニングフレームワークである。 具体的には、BtsPrunerは最初に注意集中の進化に基づいてトークン・ロール遷移点を同定する。 その後、後のエンコーディング段階からグローバルに参照された代表者を発見し、初期の段階から局所的な詳細トークンを再帰的に回収し、補完的なきめ細かい証拠を回収する。 LLaVA-1.5, LLaVA-NeXT, Qwen-VL, InternVL, CogVLM の広範囲にわたる実験により, BtsPruner はアグレッシブトークンの低減の下で優れた性能保持を実現することが示された。 LLaVA-1.5-7Bでは、BtsPrunerは576個の視覚トークン(5.6%)のうち32個しか使用せず、密度の高いモデルの性能の91.6%を保っている。 高解像度のLLaVA-NeXT-7B設定では、最大5.95倍のCUDAレイテンシ高速化を実現する。

関連論文リスト

• Hierarchical and Query-Aware Visual Token Pruning for High-Resolution LVLMs [14.611759713705071]
  高解像度のLVLM(Large Vision-Language Models)は、グローバルサムネイルを複数の局所的な作物と一緒に符号化することで、重要できめ細かな視覚的詳細を保存する。 既存のトークンプルーニング手法は主にクエリに依存しない視覚的サリエンシに依存している。 大規模言語モデルブロックを実行する前にクエリガイダンスを利用する,トレーニングフリーで階層的なトークンプルーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-10-16T18:32:18Z)
• STAR-Pro: Stage-Wise Token Adaptive Reduction with Progressive Refinement for Efficient Large Vision-Language Models [54.273344678561024]
  大規模視覚言語モデル(LVLM)は強力なマルチモーダル理解を実現するが、処理する数百から数千の視覚トークンは計算オーバーヘッドを課す。 視覚的トークンプルーニングの2つの相補的解析を行う。 視覚的トークンプルーニングのためのトレーニング不要な2段階フレームワークSTAR-Proを提案する。
  論文  参考訳（メタデータ） (2026-09-05T06:18:28Z)
• Not All Attention Heads Contribute to Critical Visual Token Selection: Head-Aware Pruning Matters More [10.64705408079015]
  VLM(Vision-Language Models)は、さまざまな視覚シナリオにまたがって素晴らしいパフォーマンスを示している。 VLM推論効率を改善するために、典型的な視覚トークンプルーニング手法はトークンの重要性を推定する。 トレーニング不要なプログレッシブ・プログレッシブ・トークン・プルーニング・フレームワークであるProViPを提案する。
  論文  参考訳（メタデータ） (2026-08-26T03:27:14Z)
• ResPrune: Text-Conditioned Subspace Reconstruction for Visual Token Pruning in Large Vision-Language Models [59.94664910790462]
  ResPruneは、大規模な視覚言語モデルのためのトレーニング不要のビジュアルトークンプルーニングフレームワークである。 視覚トークンのコンパクトだが情報に富むサブセットを選択する。 これは、計算、メモリ消費、推論遅延を効果的に削減する。
  論文  参考訳（メタデータ） (2026-03-22T07:44:45Z)
• All You Need Are Random Visual Tokens? Demystifying Token Pruning in VLLMs [43.80391827200227]
  ディープレイヤでは、既存のトレーニングフリープルーニング手法はランダムプルーニングに勝る。 ビジュアルトークンは、ネットワーク深度の増加に伴い、徐々にサリエンスを失う。 深層層での単純なランダムプルーニングは性能と効率のバランスを効果的に表す。
  論文  参考訳（メタデータ） (2025-12-08T14:16:01Z)
• Don't Just Chase "Highlighted Tokens" in MLLMs: Revisiting Visual Holistic Context Retention [50.97683288777336]
  MLLM(Multimodal Large Language Models)は、巨大な視覚トークンに依存するため、計算オーバーヘッドがかなり大きい。 近年の研究では、この問題を緩和するためにトークンプルーニングが検討されている。 本稿では,効率的な推論のためのビジュアルトークン・プルーニング・フレームワークであるHoloVを提案する。
  論文  参考訳（メタデータ） (2025-10-03T11:33:40Z)
• HIVTP: A Training-Free Method to Improve VLMs Efficiency via Hierarchical Visual Token Pruning Using Middle-Layer-Based Importance Score [14.857585045577165]
  HIVTPは、VLM(Vision-Language Models)推論効率を改善するためのトレーニング不要の手法である。 本稿では,グローバルかつ局所的に重要な視覚トークンを保持するための階層的視覚トークンプルーニング手法を提案する。 HIVTPは, LLaVA-v1.5-7BとLLaVA-Next-7BのTTFTを最大50.0%, 55.1%削減できることを示した。
  論文  参考訳（メタデータ） (2025-09-28T05:53:39Z)
• VFlowOpt: A Token Pruning Framework for LMMs with Visual Information Flow-Guided Optimization [70.98122339799218]
  LMM(Large Multimodal Models)は、多数の視覚トークンを微粒な視覚情報に活用することにより、視覚言語タスクに優れる。 推論中の視覚トークンを減らすことを目的とした以前の研究は、一般的に、視覚のみのトークンや視覚言語トークンの注意スコアから得られた重要マップを利用して、1つまたは複数のプルーニング段階にわたってトークンをプルーンする。 重要地図導出プロセスとリサイクル機構を備えたプログレッシブプルーニングモジュールを導入したトークンプルーニングフレームワークであるVFlowOptを提案する。 実験により、VFlowOptは、同等のパフォーマンスを維持しながら、90%のビジュアルトークンをプルークでき、KVキャッシュメモリが89%削減され、3.8になった。
  論文  参考訳（メタデータ） (2025-08-07T09:47:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。