論文の概要: SVD-Prune: Spectral Vision Token Pruning under Extreme Compression

• arxiv url: http://arxiv.org/abs/2611.02284v1
• Date: Sun, 01 Nov 2026 23:28:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-12 05:15:04.286229
• Title: SVD-Prune: Spectral Vision Token Pruning under Extreme Compression
• Title（参考訳）: SVD-Prune:極端圧縮下でのスペクトルビジョントーケンプルーニング
• Abstract要約: VLM(Vision-Language Models)とVLA(Vision-Language-Action)モデルは数百の視覚トークンを処理する。 視覚的トークンプルーニングは、個々の重要なトークンを識別するのではなく、視覚的表現の上位の低ランクスペクトル構造を保存するものとして定式化されるべきである。 SVD(Singular Value Decomposition)と統計レバレッジスコアを利用した,グローバルなトークン選択のためのトレーニングフリーフレームワークであるSVD-Pruneを紹介する。
• 参考スコア（独自算出の注目度）: 0.6299766708197883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models (VLMs) and Vision-Language-Action (VLA) models process hundreds of visual tokens, making visual representations a major computational bottleneck. We argue that visual token pruning should be formulated not as identifying individually important tokens, but as preserving the dominant low-rank spectral structure of the visual representation. Based on this formulation, we introduce SVD-Prune, a training-free framework that leverages Singular Value Decomposition (SVD) and statistical leverage scores for globally informed token selection. SVD-Prune is architecture-agnostic and can be applied at different stages of the multimodal pipeline, including encoder-side, decoder-side, and hybrid configurations Extensive experiments across VLM and VLA benchmarks demonstrate strong robustness under extreme compression. SVD-Prune reduces the visual token. SVD-Prune cuts the visual token budget by up to 99.3%, while, at a 16-token budget, encoder-side pruning lowers inference FLOPs by 82.4% and achieves a 4.18x end-to-end speedup, including pruning overhead.
• Abstract（参考訳）: VLM(Vision-Language Models)とVLA(Vision-Language-Action)モデルは数百の視覚トークンを処理する。 視覚的トークンプルーニングは、個々の重要なトークンを識別するのではなく、視覚的表現の上位の低ランクスペクトル構造を保存するものとして定式化されるべきである。 この定式化に基づいて,Singular Value Decomposition(SVD)と統計レバレッジスコアを利用した,グローバルなトークン選択のためのトレーニングフリーフレームワークであるSVD-Pruneを導入する。 SVD-Pruneはアーキテクチャに依存しず、エンコーダ側、デコーダ側、ハイブリッド構成を含むマルチモーダルパイプラインのさまざまな段階で適用することができる。 SVD-Pruneはビジュアルトークンを減らす。 SVD-Pruneは視覚トークンの予算を最大99.3%削減し、エンコーダ側のプルーニングはFLOPを82.4%下げ、プルーニングオーバーヘッドを含む4.18倍のエンドツーエンドのスピードアップを達成する。

関連論文リスト

• From Patching to Pruning Visual Computation in Vision Language Models [32.46243388053208]
  Patch-to-Prune(P2P)は、診断ツールからのアクティベーションパッチを推論時バイパスに変換する、トレーニング不要のフレームワークである。 P2Pは、シーケンスの長さ、トークンの順序、位置情報、注意マスク、および残留経路を保存し、トークンを除去したり、事前訓練されたモデルの重みを変更することなくプルーニングする。
  論文  参考訳（メタデータ） (2026-10-02T14:37:53Z)
• STAR-Pro: Stage-Wise Token Adaptive Reduction with Progressive Refinement for Efficient Large Vision-Language Models [54.273344678561024]
  大規模視覚言語モデル(LVLM)は強力なマルチモーダル理解を実現するが、処理する数百から数千の視覚トークンは計算オーバーヘッドを課す。 視覚的トークンプルーニングの2つの相補的解析を行う。 視覚的トークンプルーニングのためのトレーニング不要な2段階フレームワークSTAR-Proを提案する。
  論文  参考訳（メタデータ） (2026-09-05T06:18:28Z)
• PACE: A Unified Condense-and-Extract Paradigm for Fast VLM Inference [15.233755808671871]
  既存の視覚トークンプルーニング法には2つの基本的な制限がある。 ほとんどのアプローチは、ビジョン後エンコーダのみを動作させ、視覚符号化フェーズのかなりの遅延は、最適化されないままである。 視覚エンコーダと大規模言語モデルの両方を高速化するフレームワークである PACE を提案する。
  論文  参考訳（メタデータ） (2026-08-27T14:52:09Z)
• SVD-Prune: Training-Free Token Pruning For Efficient Vision-Language Models [0.6299766708197883]
  そこで本研究では,Singular Value Decompositionに基づく,学習不要でプラグアンドプレイのトークンプルーニング手法であるSVD-Pruneを提案する。 ビジョントークンの特徴行列を分解し、統計レバレッジスコアを使用してトップKトークンを選択する。 実験の結果、SVD-Prune は極端視覚トークンの予算下でのプルーニング手法よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2026-04-13T14:30:13Z)
• Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity [54.95089105944234]
  視覚言語モデル(VLM)は、過剰な視覚トークンの生成によって引き起こされる計算の非効率性に直面する。 2段階パイプラインを特徴とする訓練不要なSynergistic Importance-DiversityアプローチPruneSIDを提案する。 LLaVA-NeXTでは11.1%のトークン保持率で96.3%の精度、極端な圧縮速度(5.6%)で92.8%の精度を実現した。
  論文  参考訳（メタデータ） (2026-03-10T10:31:58Z)
• PIO-FVLM: Rethinking Training-Free Visual Token Reduction for VLM Acceleration from an Inference-Objective Perspective [59.24570811503256]
  本稿では,視覚モデル(VLM)における冗長な視覚トークンを減らし,推論を高速化するPIO-FVLMを提案する。 提案されているPIO-FVLMは、トレーニングフリーで、FlashAttentionと互換性があり、実用的なアプリケーションやデプロイメントに親しみやすい。 LLaVA-Next-7Bでは、PIO-FVLMは視覚トークンの11.1%しか保持していないが、オリジナルのパフォーマンスの97.2%を維持している。
  論文  参考訳（メタデータ） (2026-02-04T15:33:10Z)
• IPCV: Information-Preserving Compression for MLLM Visual Encoders [44.76073540999133]
  IPCVは、MLLMビジュアルエンコーダのためのトレーニング不要の情報保存圧縮フレームワークである。 トークンプルーニングによる負の影響を緩和するために,注意安定化(AS)を導入する。 IPCVはエンドツーエンドの計算を大幅に削減し、最先端のトレーニング不要なトークン圧縮手法より優れている。
  論文  参考訳（メタデータ） (2025-12-21T14:28:28Z)
• VScan: Rethinking Visual Token Reduction for Efficient Large Vision-Language Models [57.2662376527586]
  VScanは2段階のビジュアルトークン削減フレームワークである。 1)グローバルスキャンとローカルスキャンを視覚的エンコーディング中にマージすることで,(2)言語モデルの中間層にプルーニングを導入する。 VScanはプリフィルの2.91$times$スピードアップとFLOPの10$times$ダウンを実現し、オリジナルのパフォーマンスの95.4%を維持した。
  論文  参考訳（メタデータ） (2025-05-28T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。