論文の概要: TReVS: Integrating Textual Relevance and Visual Saliency for Efficient Vision-Language Model Token Pruning
- arxiv url: http://arxiv.org/abs/2609.37581v1
- Date: Tue, 29 Sep 2026 13:41:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.572616
- Title: TReVS: Integrating Textual Relevance and Visual Saliency for Efficient Vision-Language Model Token Pruning
- Title（参考訳）: TReVS:効率的なビジョンランゲージモデルトケプルーニングのためのテキスト関連性とビジュアル・サリエンシの統合
- Abstract要約: プリLLMプルーニングのためのテキスト関連性と視覚エンコーダサリエンシを組み合わせた学習自由フレームワークを提案する。
LLaVA-1.5-7Bでは、TReVSは未処理のベースライン性能の92.8%を維持し、94.4%のビジュアルトークンをプルーニングし、最先端の手法よりも優れていた。
- 参考スコア（独自算出の注目度）: 9.36737172043826
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language Models (VLMs) excel at visual understanding and reasoning but often incur substantial inference costs due to the large number of visual tokens. Recent visual token pruning methods increasingly follow a two-stage paradigm: they first remove visually redundant tokens after the vision encoder and then discard tokens irrelevant to the textual query within the Large Language Model (LLM). However, since the first stage typically relies solely on vision-encoder saliency, it may prematurely eliminate query-relevant tokens, depriving the subsequent text-guided stage of critical visual evidence. Our empirical analysis shows that incorporating query guidance into first-stage pruning better preserves task-relevant evidence and consistently improves performance over vision-only saliency-based pruning. We further find that high-variance attention heads are more sensitive to the textual query and yield more discriminative text-to-vision attention signals for second-stage pruning. Motivated by these findings, we propose TReVS, a training-free framework that combines textual relevance with vision-encoder saliency for pre-LLM pruning and leverages high-variance attention heads to remove task-irrelevant tokens at shallow-to-intermediate layers of the LLM. On LLaVA-1.5-7B, TReVS retains 92.8% of the unpruned baseline performance while pruning 94.4% of visual tokens, outperforming prior state-of-the-art methods.
- Abstract（参考訳）: VLM(Vision-Language Models)は、視覚的理解と推論に優れるが、多くの視覚トークンのため、しばしばかなりの推論コストが発生する。
ビジョンエンコーダの後、視覚的に冗長なトークンを除去し、Large Language Model (LLM) 内のテキストクエリに関係のないトークンを破棄する。
しかし、第1段階は一般的に視覚エンコーダの正当性にのみ依存するため、クエリ関連トークンを早急に排除し、その後の重要な視覚的証拠のテキスト誘導段階を剥奪する可能性がある。
実験分析の結果,クエリガイダンスを第1段階のプルーニングに組み込むことで,タスク関連エビデンスをよりよく保存し,視覚のみに基づくプルーニングよりも継続的に性能を向上させることがわかった。
さらに,高分散アテンションヘッドはテキストクエリに敏感であり,第2段階のプルーニングにおいてより識別的なテキスト・ツー・ビジョンアテンション信号が得られることがわかった。
これらの知見に触発されたTReVSは,LLMの浅層から中層までのタスク非関連トークンを除去するために,テキスト関連性と視覚エンコーダサリエンシを併用し,高分散アテンションヘッドを活用してトレーニング不要なフレームワークである。
LLaVA-1.5-7Bでは、TReVSは未処理のベースライン性能の92.8%を維持し、94.4%のビジュアルトークンをプルーニングし、最先端の手法よりも優れていた。
関連論文リスト
- VisionPulse: Dynamic Visual Sparsity for Efficient Multimodal Reasoning [15.03674139835036]
推論中に段階的に視覚的トークンを抽出するフレームワークであるVisionPulseを提案する。
VisionPulseは、推論中に視覚的間隔を強制することにより、関連する視覚的証拠を保持しながら冗長な視覚的コンテキストをフィルタリングし、推論トレースを自然に短縮する。
論文 参考訳（メタデータ） (2026-05-29T15:51:12Z) - LearnPruner: Rethinking Attention-based Token Pruning in Vision Language Models [8.039490357019801]
VLM(Vision-Language Models)は近年,視覚的理解と推論において顕著な能力を示した。
また、長い視覚的シーケンス入力による計算負荷も大きい。
近年の研究では、重要でない視覚トークンを抽出し、計算量を大幅に削減することでこの問題に対処している。
論文 参考訳（メタデータ） (2026-04-27T01:56:59Z) - Mostly Text, Smart Visuals: Asymmetric Text-Visual Pruning for Large Vision-Language Models [51.475129418355465]
大規模視覚言語モデルに対する単純で効果的な非対称テキスト・ビジュアル・ウェイト・プルーニング法を提案する。
まず、キャリブレーションプールはすべてのテキストトークンと視覚トークンのサブセットに描画することで適応的に構築される。
論文 参考訳（メタデータ） (2026-03-16T23:23:05Z) - Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning [82.39668822222386]
ビジョントークンプルーニングは、効率的なビジョン言語モデル(VLM)のための効果的なアクセラレーション手法であることが証明された。
空間的整合性を維持しつつ,効率的な特徴集約を実現するための2段階のトークンプルーニングフレームワークである$textNwa$を提案する。
実験によると、textNwa$は複数のVQAベンチマーク(94%から95%)でSOTAのパフォーマンスを達成し、視覚的グラウンドタスク(7%から47%)を大幅に改善している。
論文 参考訳（メタデータ） (2026-02-03T00:51:03Z) - ZSPAPrune: Zero-Shot Prompt-Aware Token Pruning for Vision-Language Models [7.7352936204066]
本稿では,タスク関連性と情報多様性のバランスとして,視覚トークンプルーニングをモデル化する新しいゼロショット手法を提案する。
本手法は,精度の低下を最小限に抑えて,最先端技術に適合または超越した性能を実現する。
これらのゲインには、GPUメモリフットプリントの大幅な削減と推論レイテンシが伴っている。
論文 参考訳（メタデータ） (2025-10-20T06:18:47Z) - Rethinking Visual Token Reduction in LVLMs under Cross-modal Misalignment [38.04426918886084]
視覚言語モデル(LVLM)は、視覚入力をパッチレベルのトークンの密度の高いシーケンスとしてエンコードし、微細なセマンティクスをキャプチャする。
これまでは、大型言語モデル(LLM)の前か中のいずれかで、視覚トークンの削減を検討してきた。
トレーニングフリーで視覚のみのプルーニングフレームワークであるVisionDropを導入し、モーダル内(視覚から視覚への)注目に基づいて情報的視覚トークンを選択する。
論文 参考訳（メタデータ） (2025-06-27T14:55:40Z) - VScan: Rethinking Visual Token Reduction for Efficient Large Vision-Language Models [57.2662376527586]
VScanは2段階のビジュアルトークン削減フレームワークである。
1)グローバルスキャンとローカルスキャンを視覚的エンコーディング中にマージすることで,(2)言語モデルの中間層にプルーニングを導入する。
VScanはプリフィルの2.91$times$スピードアップとFLOPの10$times$ダウンを実現し、オリジナルのパフォーマンスの95.4%を維持した。
論文 参考訳（メタデータ） (2025-05-28T17:59:08Z) - ToDRE: Visual Token Pruning via Diversity and Task Awareness for Efficient Large Vision-Language Models [59.47738955960352]
ToDREは、2段階でトレーニング不要なトークン圧縮フレームワークである。
トークンの多様性とトークン-タスク関連性に基づいてトークンをプルーニングすることで、優れたパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-05-24T15:47:49Z) - TopV: Compatible Token Pruning with Inference Time Optimization for Fast and Low-Memory Multimodal Vision Language Model [56.43860351559185]
高速かつ低メモリの textbfVLM に対する推論時間最適化を備えた textbfToken textbfPruning の互換性である textbfTopV を導入する。
我々のフレームワークは、各ソースの視覚的トークンの重要性を測定するために、視覚的なコスト関数を組み込んでおり、低重要トークンの効果的なプルーニングを可能にしている。
論文 参考訳（メタデータ） (2025-03-24T01:47:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。