論文の概要: Not All Attention Heads Contribute to Critical Visual Token Selection: Head-Aware Pruning Matters More
- arxiv url: http://arxiv.org/abs/2608.25332v1
- Date: Wed, 26 Aug 2026 03:27:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.564995
- Title: Not All Attention Heads Contribute to Critical Visual Token Selection: Head-Aware Pruning Matters More
- Title（参考訳）: すべての注意頭が重要な視力選択に寄与する訳ではない: 頭から注意を喚起する
- Abstract要約: VLM(Vision-Language Models)は、さまざまな視覚シナリオにまたがって素晴らしいパフォーマンスを示している。
VLM推論効率を改善するために、典型的な視覚トークンプルーニング手法はトークンの重要性を推定する。
トレーニング不要なプログレッシブ・プログレッシブ・トークン・プルーニング・フレームワークであるProViPを提案する。
- 参考スコア（独自算出の注目度）: 10.64705408079015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language Models (VLMs) have exhibited impressive performance across diverse visual scenarios. However, this success comes at the cost of explosive growth in visual tokens, which imposes substantial memory and computational overhead during inference, ultimately increasing latency. To improve VLM inference efficiency, a typical class of visual token pruning methods estimates token importance by aggregating attention scores across all heads in the pruning layer of the Large Language Model (LLM) backbone and prunes tokens based on aggregated scores. However, in this paper, we reveal a compelling phenomenon: the capability to pinpoint critical visual tokens is concentrated within a small fraction of heads. Aggregation exclusively on these heads can improve task performance. Inspired by this observation, we propose ProViP, a training-free progressive visual token pruning framework. ProViP first removes redundant visual tokens based on the embedding similarity of input tokens before reasoning of the LLM backbone, and then further prunes tokens during reasoning via head-aware pruning. Experiments demonstrate that ProViP delivers outstanding task performance and inference efficiency. For instance, when applied to LLaVA-1.5-7B, ProViP retains 95.9% of the original performance and achieves 1.62x inference speedup under an 88.9% pruning ratio.
- Abstract（参考訳）: VLM(Vision-Language Models)は、さまざまな視覚シナリオにまたがって素晴らしいパフォーマンスを示している。
しかし、この成功は視覚トークンの爆発的な増加の犠牲となり、推論中にメモリと計算オーバーヘッドが大きくなり、最終的にレイテンシが増大する。
VLM推論効率を向上させるために、一般的な視覚トークンプルーニング手法は、集約されたスコアに基づいて、LLM(Large Language Model)バックボーンとプルーナストークンのプルーニング層において、すべてのヘッドに注意点を集約することでトークンの重要性を推定する。
しかし,本論文では,重要な視覚トークンを特定できる能力が,ごく少数の頭部に集中しているという,魅力的な現象を明らかにした。
これらのヘッドのみに集約することで、タスクのパフォーマンスが向上する。
この観察に触発されて、トレーニング不要なプログレッシブ・ビジュアルトークン・プルーニングフレームワークProViPを提案する。
ProViPはまず、LSMバックボーンの推論の前に入力トークンの埋め込み類似性に基づいて冗長な視覚トークンを除去し、その後、ヘッドアウェアプルーニングによる推論中にトークンをさらにプルーンする。
ProViPは優れたタスクパフォーマンスと推論効率を提供する。
例えば、LLaVA-1.5-7Bに適用すると、ProViPは元の性能の95.9%を保持し、88.9%のプルーニング比で1.62倍の推論スピードアップを達成する。
関連論文リスト
- LearnPruner: Rethinking Attention-based Token Pruning in Vision Language Models [8.039490357019801]
VLM(Vision-Language Models)は近年,視覚的理解と推論において顕著な能力を示した。
また、長い視覚的シーケンス入力による計算負荷も大きい。
近年の研究では、重要でない視覚トークンを抽出し、計算量を大幅に削減することでこの問題に対処している。
論文 参考訳（メタデータ） (2026-04-27T01:56:59Z) - HAWK: Head Importance-Aware Visual Token Pruning in Multimodal Models [41.41768757204328]
マルチモーダル大言語モデル(MLLM)では、視覚トークンの急増は推論時間と計算オーバーヘッドを大幅に増加させる。
ビジュアルトークンプルーニングは、冗長なビジュアルトークンを削除することでMLLM推論のコストを削減するための有望な戦略である。
ホーク(英: Hawk)は、重要トークンの保持を最大化するために視覚タスクにおける注目ヘッドの重要性を知覚する、視覚的重要なトークンのプルーニング手法である。
論文 参考訳（メタデータ） (2026-04-09T05:09:22Z) - Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning [82.39668822222386]
ビジョントークンプルーニングは、効率的なビジョン言語モデル(VLM)のための効果的なアクセラレーション手法であることが証明された。
空間的整合性を維持しつつ,効率的な特徴集約を実現するための2段階のトークンプルーニングフレームワークである$textNwa$を提案する。
実験によると、textNwa$は複数のVQAベンチマーク(94%から95%)でSOTAのパフォーマンスを達成し、視覚的グラウンドタスク(7%から47%)を大幅に改善している。
論文 参考訳（メタデータ） (2026-02-03T00:51:03Z) - Don't Just Chase "Highlighted Tokens" in MLLMs: Revisiting Visual Holistic Context Retention [50.97683288777336]
MLLM(Multimodal Large Language Models)は、巨大な視覚トークンに依存するため、計算オーバーヘッドがかなり大きい。
近年の研究では、この問題を緩和するためにトークンプルーニングが検討されている。
本稿では,効率的な推論のためのビジュアルトークン・プルーニング・フレームワークであるHoloVを提案する。
論文 参考訳（メタデータ） (2025-10-03T11:33:40Z) - VFlowOpt: A Token Pruning Framework for LMMs with Visual Information Flow-Guided Optimization [70.98122339799218]
LMM(Large Multimodal Models)は、多数の視覚トークンを微粒な視覚情報に活用することにより、視覚言語タスクに優れる。
推論中の視覚トークンを減らすことを目的とした以前の研究は、一般的に、視覚のみのトークンや視覚言語トークンの注意スコアから得られた重要マップを利用して、1つまたは複数のプルーニング段階にわたってトークンをプルーンする。
重要地図導出プロセスとリサイクル機構を備えたプログレッシブプルーニングモジュールを導入したトークンプルーニングフレームワークであるVFlowOptを提案する。
実験により、VFlowOptは、同等のパフォーマンスを維持しながら、90%のビジュアルトークンをプルークでき、KVキャッシュメモリが89%削減され、3.8になった。
論文 参考訳（メタデータ） (2025-08-07T09:47:21Z) - A Glimpse to Compress: Dynamic Visual Token Pruning for Large Vision-Language Models [94.49953824684853]
人間の認知に触発された動的刈り取りフレームワークGlimpsePruneを導入する。
データ駆動の 'glimpse' を受け取り、応答生成の前に単一のフォワードパスで無関係な視覚トークンをプルーンする。
強化されたGlimpsePrune+は、同様に高いプルーニング率を維持しながら、ベースライン性能の110%を達成する。
論文 参考訳（メタデータ） (2025-08-03T02:15:43Z) - ToDRE: Visual Token Pruning via Diversity and Task Awareness for Efficient Large Vision-Language Models [59.47738955960352]
ToDREは、2段階でトレーニング不要なトークン圧縮フレームワークである。
トークンの多様性とトークン-タスク関連性に基づいてトークンをプルーニングすることで、優れたパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-05-24T15:47:49Z) - TopV: Compatible Token Pruning with Inference Time Optimization for Fast and Low-Memory Multimodal Vision Language Model [56.43860351559185]
高速かつ低メモリの textbfVLM に対する推論時間最適化を備えた textbfToken textbfPruning の互換性である textbfTopV を導入する。
我々のフレームワークは、各ソースの視覚的トークンの重要性を測定するために、視覚的なコスト関数を組み込んでおり、低重要トークンの効果的なプルーニングを可能にしている。
論文 参考訳（メタデータ） (2025-03-24T01:47:26Z) - Beyond Text-Visual Attention: Exploiting Visual Cues for Effective Token Pruning in VLMs [34.3615740255575]
大規模視覚言語モデル(LVLM)は一般的に、テキストのトークンよりもはるかに多くの視覚トークンを含んでいる。
LVLMにおけるより効果的なトークンプルーニングに視覚的手がかりを利用するプラグイン・アンド・プレイ方式であるVisPrunerを提案する。
その結果, VisPruner は LLaVA-1.5-7B の FLOP を 91% 削減し, 推論遅延を 75% 削減できることを示した。
論文 参考訳（メタデータ） (2024-12-02T18:57:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。