論文の概要: From Patching to Pruning Visual Computation in Vision Language Models

• arxiv url: http://arxiv.org/abs/2610.03389v1
• Date: Fri, 02 Oct 2026 14:37:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.426259
• Title: From Patching to Pruning Visual Computation in Vision Language Models
• Title（参考訳）: 視覚言語モデルにおけるパッチングから視覚計算へ
• Abstract要約: Patch-to-Prune(P2P)は、診断ツールからのアクティベーションパッチを推論時バイパスに変換する、トレーニング不要のフレームワークである。 P2Pは、シーケンスの長さ、トークンの順序、位置情報、注意マスク、および残留経路を保存し、トークンを除去したり、事前訓練されたモデルの重みを変更することなくプルーニングする。
• 参考スコア（独自算出の注目度）: 32.46243388053208
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Vision language models (VLMs) incur substantial inference cost because every visual token is processed by the attention and MLP projections of every decoder layer, even when token-specific visual computation is unnecessary at many depths. We introduce Patch-to-Prune (P2P), inspired by Mechanistic Interpretability, a training-free framework that converts activation patching from a diagnostic tool into an inference-time computation bypass. P2P performs validation-guided forward and backward layer sweeps to identify decoder regions whose visual-token projection outputs can be replaced by fixed neutral proxy activation vectors within a user-specified accuracy tolerance. Unlike conventional token-pruning methods, P2P preserves the sequence length, token order, positional information, attention mask, and residual pathways, thereby pruning computation without removing tokens or modifying the pretrained model weights. We evaluate P2P on four VLMs from the Qwen2.5-VL and LLaVA families across seven multi-modal benchmarks using mutually disjoint calibration, validation, and test partitions. P2P at a 3% tolerance retains around 94% of dense accuracy while reducing FLOPs by 55%. Beyond these efficiency gains, our layer-wise analysis suggests that visual processing in VLMs is non-uniformly distributed across decoder depth: early and late layers often require little token-specific visual computation, whereas intermediate layers appear to perform most task-relevant visual integration, enabling later reasoning to rely largely on visual information already embedded in shared residual and textual representations. This makes P2P both an efficient inference framework and a causal lens into visual information processing in VLMs.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、トークン固有の視覚計算が多くの深さで不要である場合でも、すべての視覚トークンがすべてのデコーダ層の注意とMDPプロジェクションによって処理されるため、かなりの推論コストを発生させる。 本稿では,Patch-to-Prune(P2P)を紹介し,診断ツールからのアクティベーションパッチを推論時計算バイパスに変換するトレーニングフリーフレームワークであるMechanistic Interpretabilityに着想を得た。 P2Pは、ユーザが指定した精度の許容範囲内で、視覚トーケン投影出力を固定された中性プロキシアクティベーションベクトルに置き換えることができるデコーダ領域を特定するために、バリデーション誘導前方及び後方層スイープを実行する。 従来のトークンプルーニング法とは異なり、P2Pはシーケンス長、トークン順序、位置情報、アテンションマスク、残余経路を保存し、トークンを除去したり、事前訓練されたモデルの重みを変更することなく計算を行う。 我々は,Qwen2.5-VLとLLaVAの4つのVLM上のP2Pを,相互結合キャリブレーション,検証,テストパーティションを用いた7つのマルチモーダルベンチマークで評価した。 P2Pは3%の耐性で94%の精度を維持し、FLOPsを55%減少させる。 初期層と後期層はトークン固有のビジュアル計算をほとんど必要とせず、中間層はタスク関連視覚統合をほとんど実行しているように見え、後層の推論は、すでに共有された残余およびテキスト表現に埋め込まれている視覚情報に大きく依存する。 これにより、P2PはVLMの視覚情報処理に効率的な推論フレームワークと因果レンズの両方をもたらす。

関連論文リスト

• AdaVSkip: Adaptive Visual Token Skipping Across Layers For Efficient MLLMs Inference [14.50173720268662]
  マルチモーダル・大規模言語モデル(MLLM)は、すべてのトランスフォーマー層にまたがる多数の視覚トークンを処理するために、かなりの計算を必要とする。 本稿では,AdaVSkipを提案する。AdaVSkipは各層に2つの軽量ルータを装備し,視覚トークンが通過するか否かを独立に判断する。 AdaVSkipは、計算量を大幅に減らしながら、強いタスク性能を維持している。
  論文  参考訳（メタデータ） (2026-09-14T07:07:51Z)
• PACE: A Unified Condense-and-Extract Paradigm for Fast VLM Inference [15.233755808671871]
  既存の視覚トークンプルーニング法には2つの基本的な制限がある。 ほとんどのアプローチは、ビジョン後エンコーダのみを動作させ、視覚符号化フェーズのかなりの遅延は、最適化されないままである。 視覚エンコーダと大規模言語モデルの両方を高速化するフレームワークである PACE を提案する。
  論文  参考訳（メタデータ） (2026-08-27T14:52:09Z)
• Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning [82.39668822222386]
  ビジョントークンプルーニングは、効率的なビジョン言語モデル(VLM)のための効果的なアクセラレーション手法であることが証明された。 空間的整合性を維持しつつ,効率的な特徴集約を実現するための2段階のトークンプルーニングフレームワークである$textNwa$を提案する。 実験によると、textNwa$は複数のVQAベンチマーク(94%から95%)でSOTAのパフォーマンスを達成し、視覚的グラウンドタスク(7%から47%)を大幅に改善している。
  論文  参考訳（メタデータ） (2026-02-03T00:51:03Z)
• HIPPO: Accelerating Video Large Language Models Inference via Holistic-aware Parallel Speculative Decoding [48.55833840968632]
  投機的復号化は、出力品質を犠牲にすることなくLSM推論を加速するための有望なアプローチとして登場した。 提案するHIPPOは,汎用的な並列投機復号化フレームワークである。 6つのベンチマークで4つのビデオLLMの実験では、HIPPOの有効性が示され、最大3.51倍のスピードアップが達成された。
  論文  参考訳（メタデータ） (2026-01-13T07:02:43Z)
• Fast SAM2 with Text-Driven Token Pruning [52.8350457627401]
  Segment Anything Model 2 (SAM2) では、視覚計算モデルがプロンプト駆動のビデオオブジェクトセグメンテーションにおいて大幅に進歩している。 SAM2パイプラインは、イメージエンコーダが生成するすべての視覚トークンを、ターゲットオブジェクトとの関係にかかわらず、下流の時間的推論モジュールを通じて伝達する。 本稿では,時間的伝播に先立ってトークン密度を選択的に低減し,推論効率を向上させるためのテキスト誘導型トークンプルーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-24T18:59:05Z)
• All You Need Are Random Visual Tokens? Demystifying Token Pruning in VLLMs [43.80391827200227]
  ディープレイヤでは、既存のトレーニングフリープルーニング手法はランダムプルーニングに勝る。 ビジュアルトークンは、ネットワーク深度の増加に伴い、徐々にサリエンスを失う。 深層層での単純なランダムプルーニングは性能と効率のバランスを効果的に表す。
  論文  参考訳（メタデータ） (2025-12-08T14:16:01Z)
• Patch-as-Decodable-Token: Towards Unified Multi-Modal Vision Tasks in MLLMs [88.68484904214142]
  Patch-as-Decodable Token (PaDT)を導入し、テキストと多様な視覚出力を生成する。 PaDTの中心は、クエリイメージのビジュアルパッチ埋め込みから派生したVisual Reference Tokens (VRT)である。 MLLMモデルと比較しても,PaDTは最先端の性能を一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-10-02T12:23:57Z)
• CoViPAL: Layer-wise Contextualized Visual Token Pruning for Large Vision-Language Models [75.88232735646018]
  LVLM(Large Vision-Language Models)は、画像やビデオから抽出されたテキストトークンとビジョントークンからなるマルチモーダル入力を処理する。 既存の手法は冗長な視覚トークンを創りだそうとしており、視覚表現のかなりの冗長性を明らかにしている。 我々は,LVLMで処理される前に冗長な視覚トークンを予測・削除するために,Plug-and-Play Pruning Module (PPM) を用いるレイヤワイズなコンテキスト対応型視覚トークンプルーニング手法であるCoViPALを提案する。
  論文  参考訳（メタデータ） (2025-08-24T07:47:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。