論文の概要: Hierarchical and Query-Aware Visual Token Pruning for High-Resolution LVLMs

• arxiv url: http://arxiv.org/abs/2610.24102v1
• Date: Fri, 16 Oct 2026 18:32:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 11:03:29.651238
• Title: Hierarchical and Query-Aware Visual Token Pruning for High-Resolution LVLMs
• Title（参考訳）: 高分解能LVLMのための階層的・クエリ型ビジュアルトケンプルーニング
• Abstract要約: 高解像度のLVLM(Large Vision-Language Models)は、グローバルサムネイルを複数の局所的な作物と一緒に符号化することで、重要できめ細かな視覚的詳細を保存する。 既存のトークンプルーニング手法は主にクエリに依存しない視覚的サリエンシに依存している。 大規模言語モデルブロックを実行する前にクエリガイダンスを利用する,トレーニングフリーで階層的なトークンプルーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 14.611759713705071
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-resolution Large Vision-Language Models (LVLMs) preserve critical, fine-grained visual details by encoding a global thumbnail alongside multiple local crops. However, the resulting thousands of vision tokens introduce severe computational bottlenecks during Large Language Model (LLM) inference. Existing token pruning methods rely primarily on query-agnostic visual saliency, while current query-aware approaches either operate at a coarse crop-level resolution or compute token relevance too late, after vision tokens have already entered the heavy LLM layers. To address this, we propose a training-free, hierarchical token pruning framework that utilizes query guidance prior to executing any LLM blocks. Our top-down hierarchy first operates at the instance-level, dynamically scaling the vision token retention ratio of each sample based on its visual complexity. Next, at the crop-level, we distribute this sample budget across local crops using sentence-level cross-modal similarity. Finally, at the token-level, we exploit projected vision tokens alongside textual query token embeddings in the shared space to measure fine-grained alignment, applying a text-debiasing normalization to produce high-fidelity query scores. These query-guided budgets and scores are fused with local and global visual saliency metrics to select the most critical vision tokens. Extensive experiments on LLaVA-NeXT-7B demonstrate that our plug-and-play framework retains 98.0% and 94.8% of unpruned performance at 25% and 10% vision token retention, respectively. Notably, at 25% retention, our method delivers a 2.0x inference throughput speedup and even surpasses the unpruned baseline on POPE by 0.7 points.
• Abstract（参考訳）: 高解像度のLVLM(Large Vision-Language Models)は、グローバルサムネイルを複数の局所的な作物と一緒に符号化することで、重要できめ細かな視覚的詳細を保存する。 しかし、結果として数千の視覚トークンが、LLM(Large Language Model)推論中に深刻な計算ボトルネックをもたらす。 既存のトークンプルーニング手法は主にクエリ非依存の視覚的サリエンシに依存し、現在のクエリ対応アプローチは粗い作物レベルの解像度で動作するか、視覚トークンが既に重いLCM層に入った後、計算トークンの関連性が遅すぎる。 そこで本研究では,LCMブロックを実行する前にクエリガイダンスを利用する,トレーニング不要で階層的なトークン解析フレームワークを提案する。 トップダウン階層は、まずインスタンスレベルで動作し、視覚的複雑さに基づいて各サンプルの視覚トークン保持比を動的にスケーリングします。 次に, 作物レベルでは, このサンプル予算を文レベルでのクロスモーダル類似性を用いて, 地域作物に分散する。 最後に、トークンレベルでは、共有空間にテキストクエリトークンを埋め込み、細粒度アライメントを測定することで、高忠実度クエリスコアを生成するためにテキストデバイアス正規化を適用する。 これらのクエリ誘導された予算とスコアは、最も重要な視覚トークンを選択するために、ローカルおよびグローバルなビジュアルサリエンシメトリクスと融合する。 LLaVA-NeXT-7Bの大規模な実験により、我々のプラグアンドプレイフレームワークは、それぞれ25%と10%の視覚トークン保持率で、98.0%と94.8%の未処理性能を維持していることが示された。 特に,25%の保持率で2.0xの推論スループット向上を実現し,POPEの未実行ベースラインを0.7ポイント超えた。

関連論文リスト

• TReVS: Integrating Textual Relevance and Visual Saliency for Efficient Vision-Language Model Token Pruning [9.36737172043826]
  プリLLMプルーニングのためのテキスト関連性と視覚エンコーダサリエンシを組み合わせた学習自由フレームワークを提案する。 LLaVA-1.5-7Bでは、TReVSは未処理のベースライン性能の92.8%を維持し、94.4%のビジュアルトークンをプルーニングし、最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2026-09-29T13:41:54Z)
• ACPruner: Visual Token Pruning as Biased Attention Coverage Maximization in LVLMs [61.39113360313417]
  ACPrunerは、効率的なLVLM推論のためのトレーニング不要なビジュアルトークンプルーニングフレームワークである。 ACPrunerは、エンド・ツー・エンドの推論スピードアップを実現しながら、パフォーマンスを継続的に維持する。
  論文  参考訳（メタデータ） (2026-09-28T08:14:55Z)
• Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning [82.39668822222386]
  ビジョントークンプルーニングは、効率的なビジョン言語モデル(VLM)のための効果的なアクセラレーション手法であることが証明された。 空間的整合性を維持しつつ,効率的な特徴集約を実現するための2段階のトークンプルーニングフレームワークである$textNwa$を提案する。 実験によると、textNwa$は複数のVQAベンチマーク(94%から95%)でSOTAのパフォーマンスを達成し、視覚的グラウンドタスク(7%から47%)を大幅に改善している。
  論文  参考訳（メタデータ） (2026-02-03T00:51:03Z)
• All You Need Are Random Visual Tokens? Demystifying Token Pruning in VLLMs [43.80391827200227]
  ディープレイヤでは、既存のトレーニングフリープルーニング手法はランダムプルーニングに勝る。 ビジュアルトークンは、ネットワーク深度の増加に伴い、徐々にサリエンスを失う。 深層層での単純なランダムプルーニングは性能と効率のバランスを効果的に表す。
  論文  参考訳（メタデータ） (2025-12-08T14:16:01Z)
• HIVTP: A Training-Free Method to Improve VLMs Efficiency via Hierarchical Visual Token Pruning Using Middle-Layer-Based Importance Score [14.857585045577165]
  HIVTPは、VLM(Vision-Language Models)推論効率を改善するためのトレーニング不要の手法である。 本稿では,グローバルかつ局所的に重要な視覚トークンを保持するための階層的視覚トークンプルーニング手法を提案する。 HIVTPは, LLaVA-v1.5-7BとLLaVA-Next-7BのTTFTを最大50.0%, 55.1%削減できることを示した。
  論文  参考訳（メタデータ） (2025-09-28T05:53:39Z)
• VScan: Rethinking Visual Token Reduction for Efficient Large Vision-Language Models [57.2662376527586]
  VScanは2段階のビジュアルトークン削減フレームワークである。 1)グローバルスキャンとローカルスキャンを視覚的エンコーディング中にマージすることで,(2)言語モデルの中間層にプルーニングを導入する。 VScanはプリフィルの2.91$times$スピードアップとFLOPの10$times$ダウンを実現し、オリジナルのパフォーマンスの95.4%を維持した。
  論文  参考訳（メタデータ） (2025-05-28T17:59:08Z)
• Accelerating Multimodal Large Language Models by Searching Optimal Vision Token Reduction [62.8375542401319]
  MLLM(Multimodal Large Language Models)は、入力イメージを視覚トークンとしてエンコードし、それらを言語バックボーンに入力する。 画像解像度が大きくなるにつれて、視覚トークンの数は2次的に増加し、膨大な計算コストがかかる。 本稿では,各層を浅層から深層まで保持する最小限の視覚トークンを求めるために,欲求探索アルゴリズム(G-Search)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T18:54:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。