論文の概要: A Glimpse to Compress: Dynamic Visual Token Pruning for Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2508.01548v1
• Date: Sun, 03 Aug 2025 02:15:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:21.936622
• Title: A Glimpse to Compress: Dynamic Visual Token Pruning for Large Vision-Language Models
• Title（参考訳）: 圧縮のためのGlimpse:大規模視覚言語モデルのための動的視覚トーケンプルーニング
• Authors: Quan-Sheng Zeng, Yunheng Li, Qilong Wang, Peng-Tao Jiang, Zuxuan Wu, Ming-Ming Cheng, Qibin Hou,
• Abstract要約: 人間の認知に触発された動的刈り取りフレームワークGlimpsePruneを導入する。 データ駆動の 'glimpse' を受け取り、応答生成の前に単一のフォワードパスで無関係な視覚トークンをプルーンする。 強化されたGlimpsePrune+は、同様に高いプルーニング率を維持しながら、ベースライン性能の110%を達成する。
• 参考スコア（独自算出の注目度）: 94.49953824684853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual token compression is critical for Large Vision-Language Models (LVLMs) to efficiently process high-resolution inputs. Existing methods that typically adopt fixed compression ratios cannot adapt to scenes of varying complexity, often causing imprecise pruning that discards informative visual tokens and results in degraded model performance. To address this issue, we introduce a dynamic pruning framework, GlimpsePrune, inspired by human cognition. It takes a data-driven ''glimpse'' and prunes irrelevant visual tokens in a single forward pass before answer generation. This approach prunes 92.6% of visual tokens while on average fully retaining the baseline performance on free-form VQA tasks. The reduced computational cost also enables more effective fine-tuning: an enhanced GlimpsePrune+ achieves 110% of the baseline performance while maintaining a similarly high pruning rate. Our work paves a new way for building more powerful and efficient LVLMs.
• Abstract（参考訳）: 視覚トークン圧縮は、高解像度入力を効率的に処理するためにLVLM(Large Vision-Language Models)にとって重要である。 固定圧縮比を採用する既存の方法は、様々な複雑さのシーンに適応できず、しばしば不正確なプルーニングを引き起こし、情報的視覚トークンを破棄し、結果としてモデルの性能が劣化する。 この問題に対処するために,人間の認知に触発された動的刈り取りフレームワークGlimpsePruneを導入する。 データ駆動の 'glimpse' を受け取り、応答生成の前に単一のフォワードパスで無関係な視覚トークンをプルーンする。 このアプローチは、視覚トークンの92.6%を突破し、自由形式のVQAタスクのベースライン性能を平均的に完全に保持する。 強化されたGlimpsePrune+は、同様に高いプルーニング率を維持しながら、ベースライン性能の110%を達成する。 我々の研究は、より強力で効率的なLVLMを構築するための新しい方法である。

関連論文リスト

• VisionThink: Smart and Efficient Vision Language Model via Reinforcement Learning [95.89543460132413]
  視覚言語モデル(VLM)は、視覚トークンの数を増やすことで性能を改善した。 しかし、現実世界のシナリオの多くは、このような膨大な数の視覚トークンを必要としない。 視覚的トークン圧縮(VisionThink)のための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-07-17T17:59:55Z)
• DyMU: Dynamic Merging and Virtual Unmerging for Efficient VLMs [124.52164183968145]
  視覚言語モデル(VLM)の計算負担を軽減する,効率的なトレーニング不要なフレームワークであるDyMUを提案する。 まず、動的トークンマージ(DToMe)は、画像の複雑さに基づいて類似のトークンをマージすることで、視覚トークンの埋め込み数を削減します。 第二に、仮想トークンアンマージ(VTU)は、大きな言語モデル(LLM)の期待トークンシーケンスを、フルシーケンスの注意ダイナミクスを効率的に再構築することでシミュレートする。
  論文  参考訳（メタデータ） (2025-04-23T18:38:18Z)
• Skip-Vision: Efficient and Scalable Acceleration of Vision-Language Models via Adaptive Token Skipping [13.846838416902575]
  重要なボトルネックは、きめ細かい画像理解に必要な視覚トークンの拡散に起因する。 視覚言語モデルにおけるトレーニングと推論の非効率性に対処する統合フレームワークであるSkip-Visionを提案する。 実験の結果,Skip-Visionはトレーニング時間を最大35%短縮し,FLOPを75%,レイテンシを45%短縮した。
  論文  参考訳（メタデータ） (2025-03-26T04:16:48Z)
• TopV: Compatible Token Pruning with Inference Time Optimization for Fast and Low-Memory Multimodal Vision Language Model [56.43860351559185]
  高速かつ低メモリの textbfVLM に対する推論時間最適化を備えた textbfToken textbfPruning の互換性である textbfTopV を導入する。 我々のフレームワークは、各ソースの視覚的トークンの重要性を測定するために、視覚的なコスト関数を組み込んでおり、低重要トークンの効果的なプルーニングを可能にしている。
  論文  参考訳（メタデータ） (2025-03-24T01:47:26Z)
• FCoT-VL:Advancing Text-oriented Large Vision-Language Models with Efficient Visual Token Compression [16.53645461974695]
  現在の訓練不要なビジュアルトークン圧縮法は、高解像度画像を含むタスクにおいて深刻な性能劣化を示す。 テキスト指向視覚大言語モデル(VLLM)の高解像度シナリオにおける効率的なビジュアルトークン圧縮フレームワークを提案する。 提案手法は,テキスト指向ベンチマークにおいて,ベースラインよりも高い性能を保ちながら,計算オーバーヘッドを大幅に低減する。
  論文  参考訳（メタデータ） (2025-02-22T16:05:33Z)
• PruneVid: Visual Token Pruning for Efficient Video Large Language Models [24.889834611542955]
  マルチモーダルビデオ理解の効率化を目的とした視覚的トークンプルーニング手法PruneVidを紹介する。 LLMは、視覚的モダリティを解釈する能力の拡張により、ビデオタスクにおいて有望なパフォーマンスを示してきた。 提案手法を複数のビデオベンチマークで検証し,トークンの80%以上をPruneVidが実行可能であることを示す。
  論文  参考訳（メタデータ） (2024-12-20T18:01:58Z)
• VisionZip: Longer is Better but Not Necessary in Vision Language Models [53.199716363090154]
  近年の視覚言語モデルの進歩は、視覚トークンの長さを増大させることで性能を向上している。 CLIPやSigLIPのような一般的なビジョンエンコーダによって生成されるビジュアルトークンには、かなりの冗長性が含まれている。 言語モデルに入力するための情報トークンのセットを選択する方法であるVisionZipを紹介する。
  論文  参考訳（メタデータ） (2024-12-05T18:59:53Z)
• FocusLLaVA: A Coarse-to-Fine Approach for Efficient and Effective Visual Token Compression [45.37530855889661]
  高解像度画像は、多モード大言語モデルに入力される視覚トークンの数を2次的に増加させる。 現在の研究は、しばしば性能を犠牲にして、効率を改善するために視覚的トークン圧縮法を開発している。 情報密度の低い冗長領域を圧縮する視覚誘導型サンプルラと、ユーザ指示と強く相関する視覚トークンを選択するテキスト誘導型サンプルラとを用いて、粗大な視覚トークン圧縮法を構築する。
  論文  参考訳（メタデータ） (2024-11-21T15:37:52Z)
• Inference Optimal VLMs Need Fewer Visual Tokens and More Parameters [54.01228554126122]
  視覚言語モデル(VLM)は、様々な視覚的理解と推論タスクにまたがる強力な能力を示している。 推論コストを削減するために、LLM(Large Language Models)を縮小するか、イメージを表すのに必要な入力トークンの数を削減できる。 高速圧縮に適したトークン圧縮アルゴリズムを設計する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2024-11-05T18:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。