論文の概要: When Vision Becomes Text: Visual Token Pruning via Cross-Modal Residual Guidance in VLMs

• arxiv url: http://arxiv.org/abs/2608.10489v1
• Date: Tue, 11 Aug 2026 05:04:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.912571
• Title: When Vision Becomes Text: Visual Token Pruning via Cross-Modal Residual Guidance in VLMs
• Title（参考訳）: 視覚がテキストになるとき:VLMにおける視覚的トーケンプルーニング
• Abstract要約: 視覚情報は視覚言語モデル(VLM)の知覚を強化するが、巨大な視覚トークンは推論コストを増大させる。 既存のビジュアルトークンプルーニング手法は類似性に基づくガイダンスに依存しており、圧縮のためにペアワイズテキストビジョンとビジョンビジョントークン相関を利用する。 本稿では,CMR,テキストアテンション関連性,残余空間の多様性を組み合わせた学習不要なビジュアルトークン圧縮手法であるSIEVEについて述べる。
• 参考スコア（独自算出の注目度）: 13.67813408204418
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Abundant visual information strengthens vision-language model (VLM) perception, yet massive visual tokens raise inference costs. Existing visual token pruning methods rely on similarity-based guidance, which exploits pairwise text-vision and vision-vision token correlations for compression. However, such methods only capture local layer-level signals and overlook the whole inference process in VLM. In this paper, we revisit VLM inference and present a new efficient guidance scheme that complements similarity-based guidance. In particular, we identify a key observation: as LLM layers deepen, text tokens continuously aggregate visual information via self-attention and progressively absorb partial visual content into textual representations. To quantify this phenomenon, we propose Cross Modal Absorption (CMA) from a geometric representation perspective to measure how much visual information is absorbed by text, revealing that more visual tokens in deeper layers can be approximately explained by the text subspace. We accordingly propose Cross Modal Residual (CMR). It projects visual tokens onto the text subspace via Tikhonov regularized least squares and exploits reconstruction residuals to quantify visual information that cannot be explained by text. Finally, based on CMR, we present SIEVE, a training-free visual token compression method that combines CMR, text-attention relevance, and residual-space diversity to retain task-relevant and complementary tokens. Experiments on diverse VLM architectures verify the effectiveness of SIEVE. For instance, on LLaVA-NeXT-7B, SIEVE keeps only $11.1\%$ of visual tokens while preserving $97.5\%$ of the original average performance, achieving $3.62\times$ prefill speedup, $2.49\times$ end-to-end speedup, and a $6.02\times$ KV-cache reduction.
• Abstract（参考訳）: 視覚情報は視覚言語モデル(VLM)の知覚を強化するが、巨大な視覚トークンは推論コストを増大させる。 既存のビジュアルトークンプルーニング手法は類似性に基づくガイダンスに依存しており、圧縮のためにペアワイズテキストビジョンとビジョンビジョントークン相関を利用する。 しかしながら、これらの手法は局所的な層レベルの信号のみをキャプチャし、VLMの推論プロセス全体を見渡す。 本稿では、VLM推論を再検討し、類似性に基づくガイダンスを補完する新しい効率的なガイダンス手法を提案する。 特に、LLM層が深まるにつれて、テキストトークンは自己注意を通じて視覚情報を連続的に集約し、部分的な視覚コンテンツをテキスト表現に徐々に吸収する。 この現象を定量化するために、幾何学的表現の観点からクロスモーダル吸収(CMA)を提案し、より深い層内のより多くの視覚的トークンがテキスト部分空間によって概略説明できることを明らかにする。 そこで我々はCMR(Cross Modal Residual)を提案する。 テキストのサブスペースに、Tikhonovの正規化最小二乗を使って視覚トークンを投影し、復元残差を利用して、テキストで説明できない視覚情報を定量化する。 最後に、CMRに基づいて、CMR、テキストアテンション関連性、残余空間の多様性を組み合わせた学習不要な視覚トークン圧縮手法であるSIEVEを提案する。 多様なVLMアーキテクチャの実験は、SIEVEの有効性を検証する。 例えば、LLaVA-NeXT-7Bでは、SIEVEは11.1\%のビジュアルトークンしか保持せず、97.5\%のオリジナル平均性能を保ち、3.62\times$プリフィル・スピードアップ、2.49\times$エンド・ツー・エンド・スピードアップ、6.02\times$KV-cacheリダクションを達成している。

関連論文リスト

• CLIP Tricks You: Training-free Token Pruning for Efficient Pixel Grounding in Large VIsion-Language Models [1.3750624267664158]
  LiteLVLMは、効率的なピクセルグラウンドディング推論のためのトレーニング不要でテキスト誘導型トークンプルーニング戦略である。 LiteLVLMは、さまざまなトークン予算において、既存のメソッドを5%以上上回ります。
  論文  参考訳（メタデータ） (2026-05-13T08:40:40Z)
• ResPrune: Text-Conditioned Subspace Reconstruction for Visual Token Pruning in Large Vision-Language Models [59.94664910790462]
  ResPruneは、大規模な視覚言語モデルのためのトレーニング不要のビジュアルトークンプルーニングフレームワークである。 視覚トークンのコンパクトだが情報に富むサブセットを選択する。 これは、計算、メモリ消費、推論遅延を効果的に削減する。
  論文  参考訳（メタデータ） (2026-03-22T07:44:45Z)
• IVC-Prune: Revealing the Implicit Visual Coordinates in LVLMs for Vision Token Pruning [27.75049214892312]
  LVLM(Large Vision-Language Models)は、複数のタスクにまたがる優れたパフォーマンスを実現する。 しかし、重要な課題は、高解像度の視覚入力を処理する際に、その禁止的な推論コストである。 IVCトークンと意味論的に関連するフォアグラウンドトークンの両方を保持するトレーニングフリーで、プロンプト対応のプルーニング戦略である textbfIVC-Prune を提案する。
  論文  参考訳（メタデータ） (2026-02-03T03:39:31Z)
• Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning [82.39668822222386]
  ビジョントークンプルーニングは、効率的なビジョン言語モデル(VLM)のための効果的なアクセラレーション手法であることが証明された。 空間的整合性を維持しつつ,効率的な特徴集約を実現するための2段階のトークンプルーニングフレームワークである$textNwa$を提案する。 実験によると、textNwa$は複数のVQAベンチマーク(94%から95%)でSOTAのパフォーマンスを達成し、視覚的グラウンドタスク(7%から47%)を大幅に改善している。
  論文  参考訳（メタデータ） (2026-02-03T00:51:03Z)
• Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens [54.18057944158818]
  Chain-of-Visual-Thought (COVT)は、ビジョンランゲージモデル(VLM)が連続的な視覚トークンを通じて推論できるようにするフレームワークである。 約20枚のトークンからなる小さな予算の中で、COVTは軽量ビジョンの専門家から知識を抽出する。 トレーニング中、COVTを持つVLMは視覚トークンを自動回帰予測し、密集した監視信号を再構築する。
  論文  参考訳（メタデータ） (2025-11-24T18:55:19Z)
• CoViPAL: Layer-wise Contextualized Visual Token Pruning for Large Vision-Language Models [75.88232735646018]
  LVLM(Large Vision-Language Models)は、画像やビデオから抽出されたテキストトークンとビジョントークンからなるマルチモーダル入力を処理する。 既存の手法は冗長な視覚トークンを創りだそうとしており、視覚表現のかなりの冗長性を明らかにしている。 我々は,LVLMで処理される前に冗長な視覚トークンを予測・削除するために,Plug-and-Play Pruning Module (PPM) を用いるレイヤワイズなコンテキスト対応型視覚トークンプルーニング手法であるCoViPALを提案する。
  論文  参考訳（メタデータ） (2025-08-24T07:47:00Z)
• VFlowOpt: A Token Pruning Framework for LMMs with Visual Information Flow-Guided Optimization [70.98122339799218]
  LMM(Large Multimodal Models)は、多数の視覚トークンを微粒な視覚情報に活用することにより、視覚言語タスクに優れる。 推論中の視覚トークンを減らすことを目的とした以前の研究は、一般的に、視覚のみのトークンや視覚言語トークンの注意スコアから得られた重要マップを利用して、1つまたは複数のプルーニング段階にわたってトークンをプルーンする。 重要地図導出プロセスとリサイクル機構を備えたプログレッシブプルーニングモジュールを導入したトークンプルーニングフレームワークであるVFlowOptを提案する。 実験により、VFlowOptは、同等のパフォーマンスを維持しながら、90%のビジュアルトークンをプルークでき、KVキャッシュメモリが89%削減され、3.8になった。
  論文  参考訳（メタデータ） (2025-08-07T09:47:21Z)
• Rethinking Visual Token Reduction in LVLMs under Cross-modal Misalignment [38.04426918886084]
  視覚言語モデル(LVLM)は、視覚入力をパッチレベルのトークンの密度の高いシーケンスとしてエンコードし、微細なセマンティクスをキャプチャする。 これまでは、大型言語モデル(LLM)の前か中のいずれかで、視覚トークンの削減を検討してきた。 トレーニングフリーで視覚のみのプルーニングフレームワークであるVisionDropを導入し、モーダル内(視覚から視覚への)注目に基づいて情報的視覚トークンを選択する。
  論文  参考訳（メタデータ） (2025-06-27T14:55:40Z)
• Revisit What You See: Disclose Language Prior in Vision Tokens for LVLM Decoding [6.612630497074871]
  LVLM(Large Vision-Language Models)は、視覚認識と言語理解を統合することで、マルチモーダルタスクにおける強力なパフォーマンスを実現する。 テキスト生成のガイドとして視覚トークンを参照するトレーニング不要な復号法であるReVisiTを提案する。
  論文  参考訳（メタデータ） (2025-06-11T08:46:55Z)
• D-Attn: Decomposed Attention for Large Vision-and-Language Models [29.611769371733672]
  大規模視覚・言語モデル(LVLM)のためのより柔軟な注意アーキテクチャである分解注意アーキテクチャ(D-Attn)を提案する。 D-AttnはLVLMの1次元因果自認を視覚的・視覚的・視覚的・テキスト的・テキスト的に分解する。 実験と解析によりD-Attnの有効性が検証され、複数の画像ベンチマークで大幅な改善が示された。
  論文  参考訳（メタデータ） (2025-02-04T00:46:11Z)
• [CLS] Token Tells Everything Needed for Training-free Efficient MLLMs [66.5266435598799]
  MLLM(Multi- Language Large Language Models)は、最近、広範囲の視覚タスクにおいて強力なパフォーマンスを示した。 しかし、その効率的なデプロイメントは、高い計算コストとメモリ要求のため、依然として大きな課題である。 本稿では,VTC圧縮という,列車不要の視覚圧縮のための簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-12-08T05:29:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。