論文の概要: HAP: Head-Adaptive Visual Token Pruning via Cross-Modal Alignment

• arxiv url: http://arxiv.org/abs/2608.23921v1
• Date: Mon, 24 Aug 2026 23:55:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.665715
• Title: HAP: Head-Adaptive Visual Token Pruning via Cross-Modal Alignment
• Title（参考訳）: HAP: クロスモーダルアライメントによる頭部適応型視覚トーケンプルーニング
• Abstract要約: 既存の手法では、すべての頭部に一様にテキストから視覚への注意を平均化することで、各視覚トークンをスコアリングする。 頭が不一致で 平均的に支配され 背景のトークンを増幅し きめ細かな手がかりを 吐き出す 本稿では,各頭部のプロンプトと画像領域の整合性を評価する指標であるPAQ(Prompt-Grounded Attention Quality)を提案する。
• 参考スコア（独自算出の注目度）: 76.68875424389057
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent Vision-Language Models encode high-resolution images into long visual token sequences, incurring prohibitive prefill costs. To compress them, existing methods score each visual token by averaging text-to-visual attention uniformly across all heads, which assumes every head matches the query. However, our empirical analysis shows that misaligned heads dominate the average, amplifying background tokens and drowning out fine-grained cues. To address this, we propose PAQ (Prompt-Grounded Attention Quality), a metric quantifying how well each head aligns the prompt with image regions. Built on PAQ, our pruning proceeds in three stages. Given a target FLOPs budget, we first partition the transformer layers into groups and allocate a visual token budget to each. Within each group, we then aggregate per-head attention maps via PAQ-weighted softmax into a group-level matrix. Finally, we score visual tokens by this matrix's magnitude and retain the allocated budget per group. By weighting heads with PAQ, our method scores tokens by attention signals that more faithfully reflect prompt relevance, rather than diluting them through uniform averaging. Across 18 benchmarks, our method delivers state-of-the-art trade-offs. Specifically, on LLaVA-1.5-7B (9 tasks), retaining only \textbf{5.6\%} tokens preserves \textbf{99.1\%} of the original performance, surpassing the strongest baseline AutoPrune by 4.2 points. Code is available in https://github.com/baokou-fw2/HAP.
• Abstract（参考訳）: 最近のVision-Language Modelsは、高解像度画像を長い視覚トークンシーケンスにエンコードし、違法なプリフィルコストを発生させる。 圧縮するために、既存のメソッドは、すべてのヘッドに対してテキストから視覚への注意を均一に集め、各ヘッドがクエリと一致すると仮定することで、各ビジュアルトークンをスコアする。 しかし、我々の実証分析では、頭が不整合が平均を上回り、背景トークンが増幅され、きめ細かい手がかりが取り除かれるという結果が出ています。 そこで本研究では,各頭部のプロンプトと画像領域の整合性を定量化する指標であるPAQ(Prompt-Grounded Attention Quality)を提案する。 PAQ上に構築された当社のプルーニングは,3段階で進行します。 ターゲットとなるFLOPの予算が与えられたら、まずトランスフォーマー層をグループに分割し、それぞれに視覚トークンの予算を割り当てます。 各グループ内では、PAQ重み付きソフトマックスを介して頭ごとの注意マップをグループレベル行列に集約する。 最後に、この行列の大きさによって視覚的トークンをスコアし、グループごとに割り当てられた予算を保持する。 頭部をPAQで重み付けすることで、均一な平均化により希釈するのではなく、より忠実に即時関係を反映する注意信号によってトークンをスコアリングする。 18のベンチマークで、我々の手法は最先端のトレードオフをもたらす。 具体的には、LLaVA-1.5-7B (9タスク)では、最初のパフォーマンスの \textbf{5.6\%} トークンのみを保持し、最強のベースラインであるAutoPruneを4.2ポイント上回る。 コードはhttps://github.com/baokou-fw2/HAPで入手できる。

関連論文リスト

• STAR-Pro: Stage-Wise Token Adaptive Reduction with Progressive Refinement for Efficient Large Vision-Language Models [54.273344678561024]
  大規模視覚言語モデル(LVLM)は強力なマルチモーダル理解を実現するが、処理する数百から数千の視覚トークンは計算オーバーヘッドを課す。 視覚的トークンプルーニングの2つの相補的解析を行う。 視覚的トークンプルーニングのためのトレーニング不要な2段階フレームワークSTAR-Proを提案する。
  論文  参考訳（メタデータ） (2026-09-05T06:18:28Z)
• From Saliency to Discriminability: Rank-Preserving Visual Token Pruning for VLM Rerankers [16.546400103214715]
  既存のプルーニング手法では,注目度によってトークンを保持できるが,サラーニング方式はランキング貢献と体系的に一致していないことを示す。 本稿では,正規化注意エントロピーを用いたトレーニングフリーフレームワークであるRaDiCalを提案する。 FLOPを39--45%削減し、2つのVLMアーキテクチャでデータセット固有の修正なしに1.28--1.45$times$のスピードアップを提供する。
  論文  参考訳（メタデータ） (2026-09-01T03:45:21Z)
• LAST: The Last Query Token Guides Visual Token Pruning for Edge-Cloud Collaborative MLLM Inference [63.932718076408584]
  LASTは、エッジクラウド協調MLLM推論におけるクエリ依存のビジュアルトークンプルーニングのための、トレーニング不要のフレームワークである。 完全な精度の95.4%を維持し、視覚トークンの12.5%しか保持せず、エッジ側の選択オーバーヘッドは低く、クラウド側の計算は少ない。
  論文  参考訳（メタデータ） (2026-07-30T09:59:25Z)
• AdaTok: Self-Budgeting Image Tokenization with Quality-Preserving Dynamic Tokens [39.0104982235623]
  自己予算の離散1DトークンであるAdaTokを提案する。 AdaTokは、トークンをネストしたテールマスクで注文する優先順位付き表現学習と、Adaptive Token Allocationを組み合わせたものだ。 ImageNet-1Kでは、AdaTok-Fullが256トークンでrFID 1.31に達し、AdaTok-Adaptiveは118トークンでrFID 1.50を達成する。
  論文  参考訳（メタデータ） (2026-06-05T11:49:28Z)
• Beyond Attention Magnitude: Leveraging Inter-layer Rank Consistency for Efficient Vision-Language-Action Models [75.27089289058613]
  textbfTIES(textbfTau-guided textbfInter-layer textbfEfficient textbfSelection)は、層間トークンランキングの整合性によって導かれる動的フレームワークである。 CogACT + SIMPLERベンチマークでは、TIESは平均成功率を6%改善し、トークン使用率を78%削減した。
  論文  参考訳（メタデータ） (2026-03-26T02:13:03Z)
• All You Need Are Random Visual Tokens? Demystifying Token Pruning in VLLMs [43.80391827200227]
  ディープレイヤでは、既存のトレーニングフリープルーニング手法はランダムプルーニングに勝る。 ビジュアルトークンは、ネットワーク深度の増加に伴い、徐々にサリエンスを失う。 深層層での単純なランダムプルーニングは性能と効率のバランスを効果的に表す。
  論文  参考訳（メタデータ） (2025-12-08T14:16:01Z)
• SCOPE: Saliency-Coverage Oriented Token Pruning for Efficient Multimodel LLMs [59.415473779171315]
  textbfSaliency-textbfCoverage textbfOriented token textbfPruning for textbfEfficient MLLMs。
  論文  参考訳（メタデータ） (2025-10-28T09:29:37Z)
• Don't Just Chase "Highlighted Tokens" in MLLMs: Revisiting Visual Holistic Context Retention [50.97683288777336]
  MLLM(Multimodal Large Language Models)は、巨大な視覚トークンに依存するため、計算オーバーヘッドがかなり大きい。 近年の研究では、この問題を緩和するためにトークンプルーニングが検討されている。 本稿では,効率的な推論のためのビジュアルトークン・プルーニング・フレームワークであるHoloVを提案する。
  論文  参考訳（メタデータ） (2025-10-03T11:33:40Z)
• VISA: Group-wise Visual Token Selection and Aggregation via Graph Summarization for Efficient MLLMs Inference [76.00113788838334]
  Group-wise textbfVIsual token textbfSelection and textbfAggregation (VISA) 本手法は,視覚トークンを圧縮しながら,より視覚的な情報を保存できる。 VISAの有効性を検証するため,LLaVA-1.5,LLaVA-NeXT,Video-LLaVAの総合的な実験を行った。
  論文  参考訳（メタデータ） (2025-08-25T10:07:07Z)
• CompressKV: Semantic Retrieval Heads Know What Tokens are Not Important Before Generation [7.119276797399788]
  キー値(KV)キャッシュサイズの増加は、メモリと実行効率に重大な課題をもたらす。 ほとんどのKVキャッシュ圧縮手法は、GQA (Grouped Query Attention) ベースの LLM において、すべてのアテンションヘッドを用いたトークンの排除に依存している。 我々は階層適応型KVキャッシュ割り当て戦略を導入し、様々なメモリ予算下での最先端のアプローチを一貫して上回ります。
  論文  参考訳（メタデータ） (2025-08-04T13:26:16Z)
• HiPrune: Training-Free Visual Token Pruning via Hierarchical Attention in Vision-Language Models [6.306822764683807]
  HiPruneは、ビジョンエンコーダのためのトレーニング不要でモデルに依存しないトークンプルーニングフレームワークである。 視覚エンコーダ内の階層的アテンション構造を利用する。 33.3%のトークンで99.3%のタスク精度を維持し、11.1%のトークンで99.5%の精度を維持している。
  論文  参考訳（メタデータ） (2025-08-01T11:48:11Z)
• ToSA: Token Selective Attention for Efficient Vision Transformers [50.13756218204456]
  ToSAはトークン選択型アテンションアプローチで、コンバータ層をスキップできるトークンだけでなく、参加する必要のあるトークンも識別できる。 ToSAは,ImageNet分類ベンチマークの精度を維持しながら,計算コストを大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2024-06-13T05:17:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。