Fugu-MT 論文翻訳(概要): HiPrune: Training-Free Visual Token Pruning via Hierarchical Attention in Vision-Language Models

論文の概要: HiPrune: Training-Free Visual Token Pruning via Hierarchical Attention in Vision-Language Models

arxiv url: http://arxiv.org/abs/2508.00553v1
Date: Fri, 01 Aug 2025 11:48:11 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-04 18:08:53.860453
Title: HiPrune: Training-Free Visual Token Pruning via Hierarchical Attention in Vision-Language Models
Title（参考訳）: HiPrune:ビジョンランゲージモデルにおける階層的注意によるトレーニング不要な視覚的トーケンプルーニング
Authors: Jizhihui Liu, Feiyi Du, Guangdao Zhu, Niu Lian, Jun Li, Bin Chen,
Abstract要約: HiPruneは、ビジョンエンコーダのためのトレーニング不要でモデルに依存しないトークンプルーニングフレームワークである。視覚エンコーダ内の階層的アテンション構造を利用する。 33.3%のトークンで99.3%のタスク精度を維持し、11.1%のトークンで99.5%の精度を維持している。
参考スコア（独自算出の注目度）: 6.306822764683807
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Vision-Language Models (VLMs) encode images into lengthy sequences of visual tokens, leading to excessive computational overhead and limited inference efficiency. While prior efforts prune or merge tokens to address this issue, they often rely on special tokens (e.g., CLS) or require task-specific training, hindering scalability across architectures. In this paper, we propose HiPrune, a training-free and model-agnostic token Pruning framework that exploits the Hierarchical attention structure within vision encoders. We identify that middle layers attend to object-centric regions, while deep layers capture global contextual features. Based on this observation, HiPrune selects three types of informative tokens: (1) Anchor tokens with high attention in object-centric layers, (2) Buffer tokens adjacent to anchors for spatial continuity, and (3) Register tokens with strong attention in deep layers for global summarization. Our method requires no retraining and integrates seamlessly with any ViT-based VLM. Extensive experiments on LLaVA-1.5, LLaVA-NeXT, and Qwen2.5-VL demonstrate that HiPrune achieves state-of-the-art pruning performance, preserving up to 99.3% task accuracy with only 33.3% tokens, and maintaining 99.5% accuracy with just 11.1% tokens. Meanwhile, it reduces inference FLOPs and latency by up to 9$\times$, showcasing strong generalization across models and tasks. Code is available at https://github.com/Danielement321/HiPrune.
Abstract（参考訳）: VLM(Vision-Language Models)は、画像を視覚トークンの長いシーケンスにエンコードし、過剰な計算オーバーヘッドと推論効率の制限をもたらす。この問題に対処するための事前の取り組みは、特別なトークン(例えば、CLS)に依存したり、タスク固有のトレーニングを必要とし、アーキテクチャ間のスケーラビリティを阻害する。本稿では,視覚エンコーダ内の階層的アテンション構造を利用したトレーニングフリーでモデルに依存しないトークン・プルーニング・フレームワークであるHiPruneを提案する。中層はオブジェクト中心の領域に,深層はグローバルなコンテキスト的特徴を捉える。この観測に基づいて、HiPruneは、(1)オブジェクト中心層に注意を向けたアンカートークン、(2)空間連続性のためにアンカーに隣接するバッファトークン、(3)グローバル要約のために深い層に強い注意を払って登録トークンの3種類の情報トークンを選択する。提案手法は再トレーニングを必要とせず,ViTベースのVLMとシームレスに統合する。 LLaVA-1.5、LLaVA-NeXT、Qwen2.5-VLの大規模な実験は、HiPruneが最先端のプルーニング性能を達成し、最大99.3%のタスク精度を33.3%のトークンで保持し、99.5%の精度を11.1%のトークンで維持していることを示した。一方、FLOPと遅延を最大9$\times$に減らし、モデルやタスク間の強力な一般化を示している。コードはhttps://github.com/Danielement321/HiPrune.comから入手できる。

関連論文リスト

Rethinking Visual Token Reduction in LVLMs under Cross-modal Misalignment [38.04426918886084]
視覚言語モデル(LVLM)は、視覚入力をパッチレベルのトークンの密度の高いシーケンスとしてエンコードし、微細なセマンティクスをキャプチャする。これまでは、大型言語モデル(LLM)の前か中のいずれかで、視覚トークンの削減を検討してきた。トレーニングフリーで視覚のみのプルーニングフレームワークであるVisionDropを導入し、モーダル内(視覚から視覚への)注目に基づいて情報的視覚トークンを選択する。
論文参考訳（メタデータ） (2025-06-27T14:55:40Z)
VScan: Rethinking Visual Token Reduction for Efficient Large Vision-Language Models [57.2662376527586]
VScanは2段階のビジュアルトークン削減フレームワークである。 1)グローバルスキャンとローカルスキャンを視覚的エンコーディング中にマージすることで,(2)言語モデルの中間層にプルーニングを導入する。 VScanはプリフィルの2.91$times$スピードアップとFLOPの10$times$ダウンを実現し、オリジナルのパフォーマンスの95.4%を維持した。
論文参考訳（メタデータ） (2025-05-28T17:59:08Z)
FlowCut: Rethinking Redundancy via Information Flow for Efficient Vision-Language Models [16.818798800714177]
大規模視覚言語モデル(LVLM)はマルチモーダル理解において優れているが、冗長な視覚トークンによる計算コストが高い。既存のプルーニング法は、通常は1層の注意スコアをランク付けや冗長な視覚トークンに頼っている。本稿では,情報フロー対応プルーニングフレームワークであるFlowCutを提案する。
論文参考訳（メタデータ） (2025-05-26T05:54:48Z)
TokLIP: Marry Visual Tokens to CLIP for Multimodal Comprehension and Generation [80.90309237362526]
TokLIPは、ベクトル量子化(VQ)トークンを意味付けることで、理解を深めるビジュアルトークンライザである。 TokLIPは、低レベルの離散VQトークンライザとViTベースのトークンエンコーダを統合して、高レベルの連続的なセマンティクスをキャプチャする。
論文参考訳（メタデータ） (2025-05-08T17:12:19Z)
Neural Discrete Token Representation Learning for Extreme Token Reduction in Video Large Language Models [50.214593234229255]
最小限の離散トークンを用いてビデオ全体を表現することを目的としたExtreme Short Token Reductionという新しいタスクを紹介した。 Extreme Short Token Reductionタスクでは、私たちのVQTokenはシーケンスをオリジナルの長さのわずか0.07パーセントまで圧縮し、NextQA-MCベンチマークでは0.6%の精度しか達成していません。
論文参考訳（メタデータ） (2025-03-21T09:46:31Z)
ST$^3$: Accelerating Multimodal Large Language Model by Spatial-Temporal Visual Token Trimming [14.937905258757635]
$textbfST3$は、再トレーニングせずにMLLM推論を高速化するように設計されたフレームワークである。 $textbfST3$は、既存のトレーニング済みMLLMにシームレスに統合できる。
論文参考訳（メタデータ） (2024-12-28T10:17:29Z)
Boosting Multimodal Large Language Models with Visual Tokens Withdrawal for Rapid Inference [59.91176945361035]
高速推論のためにMLLMを高速化するプラグイン・アンド・プレイモジュールであるVisual Tokens Withdrawal (VTW)を紹介した。 VTWは、あるレイヤで視覚トークンを戦略的に取り除き、テキストトークンだけがその後のレイヤに関与できるようにする。提案手法は,マルチモーダルタスクにおいて,性能を維持しながら計算オーバーヘッドを40%以上削減できる。
論文参考訳（メタデータ） (2024-05-09T14:38:53Z)
AiluRus: A Scalable ViT Framework for Dense Prediction [95.1313839257891]
視覚変換器 (ViT) は、その優れた性能のため、視覚タスクの一般的なアーキテクチャとして登場した。本稿では,画像の異なる領域に対して,その重要度に応じて適応分解能を適用することを提案する。提案手法を3つの異なるデータセット上で評価し,有望な性能を観察する。
論文参考訳（メタデータ） (2023-11-02T12:48:43Z)
Revisiting Token Pruning for Object Detection and Instance Segmentation [25.3324628669201]
オブジェクトとインスタンスのセグメンテーションの推論を高速化するトークンプルーニングについて検討する。従来のトークンプルーニング法と比較して,ボックス・マスクともに1.5mAPから0.3mAPに低下した。
論文参考訳（メタデータ） (2023-06-12T11:55:33Z)
Vision Transformer with Super Token Sampling [93.70963123497327]
多くの視覚タスクにおいて、視覚変換器は印象的なパフォーマンスを達成した。浅い層のために局所的な特徴を捉える際に、高い冗長性に悩まされる可能性がある。スーパートークンは、視覚的コンテンツの意味的に意味のあるテッセルレーションを提供しようとする。
論文参考訳（メタデータ） (2022-11-21T03:48:13Z)
PeCo: Perceptual Codebook for BERT Pre-training of Vision Transformers [102.7922200135147]
本稿では、視覚変換器のBERT事前学習のためのより良いコードブックについて検討する。対照的に、NLPフィールドの離散トークンは自然に非常に意味がある。提案した知覚コードブックが生成する視覚的トークンは,より優れた意味を持つことを示す。
論文参考訳（メタデータ） (2021-11-24T18:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。