論文の概要: Attention-Free and Lightweight Token Reduction for Efficient Vision-Language Models
- arxiv url: http://arxiv.org/abs/2607.13500v1
- Date: Wed, 15 Jul 2026 06:55:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.674463
- Title: Attention-Free and Lightweight Token Reduction for Efficient Vision-Language Models
- Title（参考訳）: 視覚・言語モデルにおける注意・注意・軽量化
- Abstract要約: 視覚言語モデルのためのプラグイン・アンド・プレイ・モジュールとして,注意フリーで軽量なトークン削減フレームワークを提案する。
我々のフレームワークは、コンパクトな視覚表現を生成するために重要なトークンと多様なトークンの両方を保存します。
- 参考スコア（独自算出の注目度）: 8.482327499828154
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language Models (VLMs) have achieved strong performance in multimodal understanding, yet remain challenging to deploy on resource-constrained edge devices due to the substantial computational overhead of processing numerous visual tokens. Token reduction is a promising direction for accelerating VLMs inference, but existing approaches either rely on attention maps that are incompatible with modern acceleration frameworks or depend on computationally intensive pairwise similarity comparisons, which undermine scalability and negate their practical benefits in deployment. In this paper, we propose an attention-free and lightweight token reduction framework as a plug-and-play module for VLMs, which preserves both important and diverse tokens to produce a compact visual representation. First, to enable attention-free importance estimation, we adopt an information-theoretic perspective and quantify token information using a novel entropy-based criterion, retaining those with more expressive and less degenerate feature representations. Second, to ensure diverse visual coverage in a lightweight manner, we introduce a transformation-induced consistency signal where similar tokens yield similar signals, such that sorting by this signal places similar tokens close to each other and enables stride-based selection to produce a diverse token set. Extensive experiments across multiple VLMs benchmarks demonstrate that our framework achieves a favorable accuracy-efficiency trade-off, maintaining competitive performance under aggressive compression.
- Abstract（参考訳）: VLM(Vision-Language Models)は、マルチモーダル理解において高いパフォーマンスを達成しているが、多数のビジュアルトークンを処理する計算オーバーヘッドが大きいため、リソース制約のあるエッジデバイスへのデプロイは依然として困難である。
トークン削減は、VLM推論を加速する上で有望な方向であるが、既存のアプローチは、現代のアクセラレーションフレームワークと互換性のないアテンションマップに依存するか、あるいは計算集約的なペアワイド類似性比較に依存している。
本稿では,VLMのプラグ・アンド・プレイモジュールとして注目度のない軽量なトークン削減フレームワークを提案する。
まず,注意力のない重要度推定を実現するために,情報理論的視点を採用し,新しいエントロピー基準を用いてトークン情報を定量化し,より表現力が高く,より退化しやすい特徴表現で保持する。
第2に,類似のトークンが互いに近接した類似のトークンをソートし,ストライドベースの選択により多様なトークンを生成できるような,類似のトークンが生成する変換誘起整合性信号を導入する。
複数のVLMベンチマークの総合的な実験により、我々のフレームワークは、アグレッシブ圧縮下での競争性能を保ちながら、良好な精度と効率のトレードオフを達成できることを示した。
関連論文リスト
- TORINO: Token Reduction via Interpretable Concept Overlap in Vision-Language Models [6.132992639292891]
VLM(Vision-Language Models)は、様々なタスクにまたがる印象的な機能を示しているが、その計算コストはモデルに供給される多数の視覚トークンに支配されている。
本稿では,VLMの適応的視覚トークン削減のためのプラグイン・アンド・プレイフレームワークであるTORINOを紹介する。
論文 参考訳（メタデータ） (2026-07-06T01:43:09Z) - Bridging Perception and Reasoning: Token Reweighting for RLVR in Multimodal LLMs [51.60575965819268]
本稿では,この相互依存を明示的にモデル化するToken-Reweighting(ToR)戦略を提案する。
ToRは複数のマルチモーダル推論ベンチマークで一貫したパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2026-03-26T06:25:27Z) - VISion On Request: Enhanced VLLM efficiency with sparse, dynamically selected, vision-language interactions [51.41587958253802]
視覚情報を捨てることなく推論コストを削減するVISOR(VISion On Request)を導入する。
VISORは画像とテキストトークン間の相互作用をスパースすることで効率を向上する。
実験により、VISORは、最先端の結果を一致または超えながら、計算コストを大幅に削減することが示された。
論文 参考訳（メタデータ） (2026-03-24T17:58:17Z) - UniCompress: Token Compression for Unified Vision-Language Understanding and Generation [62.943173382496276]
統一モデルは、イメージを個別のトークンにエンコードし、テキストと共にそれらを処理することによって、理解と生成の両方をサポートすることを目的としている。
本稿では,画像理解と生成の両タスクのパフォーマンスを保ちながら,視覚的トークン数を大幅に削減する統一されたトークン圧縮アルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-03-11T21:27:15Z) - ViTCoP: Accelerating Large Vision-Language Models via Visual and Textual Semantic Collaborative Pruning [8.933549837045932]
大きなビジョンランゲージモデルは、視覚トークンの冗長性のために高い計算コストを発生させる。
視覚エンコーダの冗長性フィルタリングと大規模言語モデル内の段階的協調処理を組み合わせた視覚的・テキスト的協調処理フレームワーク(ViTCoP)を提案する。
論文 参考訳（メタデータ） (2026-01-25T12:47:30Z) - SPOT: Sparsification with Attention Dynamics via Token Relevance in Vision Transformers [9.24617274894642]
視覚変換器(ViT)内の冗長トークンを早期に検出するためのフレームワークとして,Token Relevance (SPOT) を用いた attentiOn dynamics を用いたSParsification を提案する。
SPOTはトークンスペーシフィケーションを通知し、そのようなトークンを除去し、性能を犠牲にすることなく計算効率を向上させる。
実験による評価では、通常のViTに比べて40%の効率向上が見られた。
論文 参考訳（メタデータ） (2025-11-13T16:56:24Z) - ZSPAPrune: Zero-Shot Prompt-Aware Token Pruning for Vision-Language Models [7.7352936204066]
本稿では,タスク関連性と情報多様性のバランスとして,視覚トークンプルーニングをモデル化する新しいゼロショット手法を提案する。
本手法は,精度の低下を最小限に抑えて,最先端技術に適合または超越した性能を実現する。
これらのゲインには、GPUメモリフットプリントの大幅な削減と推論レイテンシが伴っている。
論文 参考訳（メタデータ） (2025-10-20T06:18:47Z) - ToDRE: Visual Token Pruning via Diversity and Task Awareness for Efficient Large Vision-Language Models [59.47738955960352]
ToDREは、2段階でトレーニング不要なトークン圧縮フレームワークである。
トークンの多様性とトークン-タスク関連性に基づいてトークンをプルーニングすることで、優れたパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-05-24T15:47:49Z) - Token Sequence Compression for Efficient Multimodal Computing [0.19116784879310028]
LMM(Large Multimodal Models)の指数的成長は、クロスモーダル推論の進歩を誘導しているが、計算コストは相当である。
我々は、現在の視覚エンコーダの冗長性と非効率性を強調し、マルチモーダルデータに対する適応圧縮手法の構築を目指す。
この研究は、高次元データのより効率的なエンコーディングと処理に向けた最初の取り組みであり、よりスケーラブルで持続可能なマルチモーダルシステムへの道を開いた。
論文 参考訳（メタデータ） (2025-04-24T19:11:10Z) - "Principal Components" Enable A New Language of Images [79.45806370905775]
証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。
提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
論文 参考訳（メタデータ） (2025-03-11T17:59:41Z) - Inference Optimal VLMs Need Fewer Visual Tokens and More Parameters [54.01228554126122]
視覚言語モデル(VLM)は、様々な視覚的理解と推論タスクにまたがる強力な能力を示している。
推論コストを削減するために、LLM(Large Language Models)を縮小するか、イメージを表すのに必要な入力トークンの数を削減できる。
高速圧縮に適したトークン圧縮アルゴリズムを設計する第一歩を踏み出す。
論文 参考訳（メタデータ） (2024-11-05T18:54:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。