論文の概要: SwiftVLM: Efficient Vision-Language Model Inference via Cross-Layer Token Bypass

• arxiv url: http://arxiv.org/abs/2602.03134v1
• Date: Tue, 03 Feb 2026 05:42:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.267319
• Title: SwiftVLM: Efficient Vision-Language Model Inference via Cross-Layer Token Bypass
• Title（参考訳）: SwiftVLM: クロスレイヤトークンバイパスによる効率的なビジョンランゲージモデル推論
• Authors: Chen Qian, Xinran Yu, Danyang Li, Guoxuan Chi, Zheng Yang, Qiang Ma, Xin Miao,
• Abstract要約: 視覚トークンプルーニングは、視覚言語モデルの計算コストを削減するための有望なアプローチである。 我々は、選択されていない視覚トークンを保存し、その後のプルーニングステージに転送する、バイパスと呼ばれる新しいプルーニングパラダイムを導入する。 このパラダイムに基づいて,強力な視覚トークン選択機能を備えたモデル固有の層でプルーニングを行う,単純かつトレーニング不要なSwiftVLMを提案する。
• 参考スコア（独自算出の注目度）: 20.7003663809766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual token pruning is a promising approach for reducing the computational cost of vision-language models (VLMs), and existing methods often rely on early pruning decisions to improve efficiency. While effective on coarse-grained reasoning tasks, they suffer from significant performance degradation on tasks requiring fine-grained visual details. Through layer-wise analysis, we reveal substantial discrepancies in visual token importance across layers, showing that tokens deemed unimportant at shallow layers can later become highly relevant for text-conditioned reasoning. To avoid irreversible critical information loss caused by premature pruning, we introduce a new pruning paradigm, termed bypass, which preserves unselected visual tokens and forwards them to subsequent pruning stages for re-evaluation. Building on this paradigm, we propose SwiftVLM, a simple and training-free method that performs pruning at model-specific layers with strong visual token selection capability, while enabling independent pruning decisions across layers. Experiments across multiple VLMs and benchmarks demonstrate that SwiftVLM consistently outperforms existing pruning strategies, achieving superior accuracy-efficiency trade-offs and more faithful visual token selection behavior.
• Abstract（参考訳）: 視覚トークンプルーニングは視覚言語モデル(VLM)の計算コストを削減するための有望なアプローチであり、既存の手法は効率を改善するために早期プルーニングの決定に依存することが多い。 粗い推論タスクでは有効であるが、細かな視覚的詳細を必要とするタスクではパフォーマンスが著しく低下する。 層間分析により, 層間における視覚的トークンの重要性の相違が明らかとなり, 浅い層において重要でないと考えられるトークンが, テキスト条件の推論に極めて関係があることが判明した。 本研究では,未選択の視覚トークンを保存し,その後のプルーニング段階に転送して再評価を行う,未熟なプルーニングによる不可逆的臨界情報損失を回避するために,バイパスと呼ばれる新たなプルーニングパラダイムを導入する。 このパラダイムに基づいて構築されたSwiftVLMは、モデル固有の層でプルーニングを実行し、強力なビジュアルトークン選択機能を持つとともに、レイヤ間で独立したプルーニング決定を可能にする、シンプルでトレーニング不要な手法である。 複数のVLMとベンチマークの実験は、SwiftVLMが既存のプルーニング戦略を一貫して上回り、精度と効率のトレードオフとより忠実なビジュアルトークン選択の動作を達成することを示した。

関連論文リスト

• ViTCoP: Accelerating Large Vision-Language Models via Visual and Textual Semantic Collaborative Pruning [8.933549837045932]
  大きなビジョンランゲージモデルは、視覚トークンの冗長性のために高い計算コストを発生させる。 視覚エンコーダの冗長性フィルタリングと大規模言語モデル内の段階的協調処理を組み合わせた視覚的・テキスト的協調処理フレームワーク(ViTCoP)を提案する。
  論文  参考訳（メタデータ） (2026-01-25T12:47:30Z)
• All You Need Are Random Visual Tokens? Demystifying Token Pruning in VLLMs [43.80391827200227]
  ディープレイヤでは、既存のトレーニングフリープルーニング手法はランダムプルーニングに勝る。 ビジュアルトークンは、ネットワーク深度の増加に伴い、徐々にサリエンスを失う。 深層層での単純なランダムプルーニングは性能と効率のバランスを効果的に表す。
  論文  参考訳（メタデータ） (2025-12-08T14:16:01Z)
• ZSPAPrune: Zero-Shot Prompt-Aware Token Pruning for Vision-Language Models [7.7352936204066]
  本稿では,タスク関連性と情報多様性のバランスとして,視覚トークンプルーニングをモデル化する新しいゼロショット手法を提案する。 本手法は,精度の低下を最小限に抑えて,最先端技術に適合または超越した性能を実現する。 これらのゲインには、GPUメモリフットプリントの大幅な削減と推論レイテンシが伴っている。
  論文  参考訳（メタデータ） (2025-10-20T06:18:47Z)
• Training-Free Token Pruning via Zeroth-Order Gradient Estimation in Vision-Language Models [16.540220733551823]
  VLM(Large Vision-Language Models)は、強力なマルチモーダル推論を実現するが、冗長な視覚トークンから重い推論コストを発生させる。 注意に基づく手法は、しばしばレイヤやヘッド間で不安定な生の注意スコアに依存する。 簡単な直感に基づいて構築されたトレーニング不要のフレームワークとして,我々の提案する。
  論文  参考訳（メタデータ） (2025-09-29T14:20:05Z)
• VFlowOpt: A Token Pruning Framework for LMMs with Visual Information Flow-Guided Optimization [70.98122339799218]
  LMM(Large Multimodal Models)は、多数の視覚トークンを微粒な視覚情報に活用することにより、視覚言語タスクに優れる。 推論中の視覚トークンを減らすことを目的とした以前の研究は、一般的に、視覚のみのトークンや視覚言語トークンの注意スコアから得られた重要マップを利用して、1つまたは複数のプルーニング段階にわたってトークンをプルーンする。 重要地図導出プロセスとリサイクル機構を備えたプログレッシブプルーニングモジュールを導入したトークンプルーニングフレームワークであるVFlowOptを提案する。 実験により、VFlowOptは、同等のパフォーマンスを維持しながら、90%のビジュアルトークンをプルークでき、KVキャッシュメモリが89%削減され、3.8になった。
  論文  参考訳（メタデータ） (2025-08-07T09:47:21Z)
• A Glimpse to Compress: Dynamic Visual Token Pruning for Large Vision-Language Models [94.49953824684853]
  人間の認知に触発された動的刈り取りフレームワークGlimpsePruneを導入する。 データ駆動の 'glimpse' を受け取り、応答生成の前に単一のフォワードパスで無関係な視覚トークンをプルーンする。 強化されたGlimpsePrune+は、同様に高いプルーニング率を維持しながら、ベースライン性能の110%を達成する。
  論文  参考訳（メタデータ） (2025-08-03T02:15:43Z)
• TopV: Compatible Token Pruning with Inference Time Optimization for Fast and Low-Memory Multimodal Vision Language Model [56.43860351559185]
  高速かつ低メモリの textbfVLM に対する推論時間最適化を備えた textbfToken textbfPruning の互換性である textbfTopV を導入する。 我々のフレームワークは、各ソースの視覚的トークンの重要性を測定するために、視覚的なコスト関数を組み込んでおり、低重要トークンの効果的なプルーニングを可能にしている。
  論文  参考訳（メタデータ） (2025-03-24T01:47:26Z)
• Spurious Feature Eraser: Stabilizing Test-Time Adaptation for Vision-Language Foundation Model [86.9619638550683]
  視覚言語基礎モデルは、画像とテキストのペアデータに拡張性があるため、多数の下流タスクで顕著な成功を収めている。 しかし、これらのモデルは、決定ショートカットの結果、きめ細かな画像分類などの下流タスクに適用した場合に重大な制限を呈する」。
  論文  参考訳（メタデータ） (2024-03-01T09:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。