論文の概要: PACE: A Unified Condense-and-Extract Paradigm for Fast VLM Inference

• arxiv url: http://arxiv.org/abs/2608.27206v1
• Date: Thu, 27 Aug 2026 14:52:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.45303
• Title: PACE: A Unified Condense-and-Extract Paradigm for Fast VLM Inference
• Title（参考訳）: PACE: 高速VLM推論のための統一コンデンス・アンド・エクストラクションパラダイム
• Abstract要約: 既存の視覚トークンプルーニング法には2つの基本的な制限がある。 ほとんどのアプローチは、ビジョン後エンコーダのみを動作させ、視覚符号化フェーズのかなりの遅延は、最適化されないままである。 視覚エンコーダと大規模言語モデルの両方を高速化するフレームワークである PACE を提案する。
• 参考スコア（独自算出の注目度）: 15.233755808671871
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models (VLMs) demonstrate exceptional visual reasoning capabilities, yet their inference costs escalate rapidly with the proliferation of visual tokens. Existing visual token pruning methods exhibit two fundamental limitations. First, most approaches operate exclusively post-vision encoder, leaving the substantial latency of the visual encoding phase unoptimized. Second, under strict token budgets, these methods often fail to jointly preserve holistic visual contexts and fine-grained details, leading to performance degradation. To address these bottlenecks, we propose PACE (Pixel-Adaptive Condense and Extract), a training-free inference framework that accelerates both the vision encoder and the Large Language Model (LLM) via a unified Condense-and-Extract paradigm. During the Condense stage, an Adaptive Pixel Compressor (APC) evaluates visual information density prior to encoding, adaptively downsampling redundant inputs, curtailing encoder computation while preserving global context and essential visual cues. In the Extract stage, a Dynamic Dual-Attention Extractor (DDAE) selectively retains visual tokens via a fusion of internal visual signals from the encoder and semantic signals from the LLM, safeguarding task-critical details. By integrating PACE into Qwen2.5-VL-7B, the model retains 93.8% of its original performance while utilizing only 10% of the visual tokens, yielding a 3.1x speedup in time to first token (TTFT). Our code is available at https://github.com/jjL357/PACE.
• Abstract（参考訳）: VLM(Vision-Language Models)は、例外的な視覚推論能力を示すが、その推論コストは、視覚トークンの拡散とともに急速に増大する。 既存の視覚トークンプルーニング法には2つの基本的な制限がある。 第一に、ほとんどのアプローチはビジョン後エンコーダのみを動作させ、視覚符号化フェーズのかなりの遅延は最適化されていない。 第二に、厳格なトークン予算の下では、これらの手法は総体的な視覚的コンテキストと細かな詳細を共同で保存することができず、性能が低下する。 これらのボトルネックに対処するために,視覚エンコーダとLLM(Large Language Model)の両方を高速化する学習自由推論フレームワークであるPACE(Pixel-Adaptive Condense and Extract)を提案する。 Condenseの段階では、Adaptive Pixel Compressor (APC) は、エンコーディングの前に視覚情報密度を評価し、冗長な入力を適応的にサンプリングし、エンコーダの計算を削減し、グローバルなコンテキストと不可欠なビジュアルキューを保存する。 抽出段階では、Dynamic Dual-Attention Extractor(DDAE)は、エンコーダの内的視覚信号とLCMの意味的信号の融合を通じて視覚トークンを選択的に保持し、タスククリティカルな詳細を保護する。 PACEをQwen2.5-VL-7Bに統合することで、元の性能の93.8%を維持し、視覚トークンの10%しか利用せず、最初のトークン(TTFT)の3.1倍のスピードアップを実現した。 私たちのコードはhttps://github.com/jjL357/PACE.orgで公開されています。

関連論文リスト

• ApET: Approximation-Error Guided Token Compression for Efficient VLMs [16.4657793751671]
  本稿では,近似エラーガイド付きToken圧縮フレームワークであるApETを紹介する。 ApETは、画像理解タスクのオリジナルパフォーマンスの95.2%を保持し、ビデオ理解タスクの100.4%を達成している。 ApETは無注意設計のため、FlashAttentionとシームレスに統合され、さらなる推論を可能にし、VLMのデプロイをより実用的なものにしている。
  論文  参考訳（メタデータ） (2026-02-23T14:15:37Z)
• PIO-FVLM: Rethinking Training-Free Visual Token Reduction for VLM Acceleration from an Inference-Objective Perspective [59.24570811503256]
  本稿では,視覚モデル(VLM)における冗長な視覚トークンを減らし,推論を高速化するPIO-FVLMを提案する。 提案されているPIO-FVLMは、トレーニングフリーで、FlashAttentionと互換性があり、実用的なアプリケーションやデプロイメントに親しみやすい。 LLaVA-Next-7Bでは、PIO-FVLMは視覚トークンの11.1%しか保持していないが、オリジナルのパフォーマンスの97.2%を維持している。
  論文  参考訳（メタデータ） (2026-02-04T15:33:10Z)
• HIPPO: Accelerating Video Large Language Models Inference via Holistic-aware Parallel Speculative Decoding [48.55833840968632]
  投機的復号化は、出力品質を犠牲にすることなくLSM推論を加速するための有望なアプローチとして登場した。 提案するHIPPOは,汎用的な並列投機復号化フレームワークである。 6つのベンチマークで4つのビデオLLMの実験では、HIPPOの有効性が示され、最大3.51倍のスピードアップが達成された。
  論文  参考訳（メタデータ） (2026-01-13T07:02:43Z)
• Fast SAM2 with Text-Driven Token Pruning [52.8350457627401]
  Segment Anything Model 2 (SAM2) では、視覚計算モデルがプロンプト駆動のビデオオブジェクトセグメンテーションにおいて大幅に進歩している。 SAM2パイプラインは、イメージエンコーダが生成するすべての視覚トークンを、ターゲットオブジェクトとの関係にかかわらず、下流の時間的推論モジュールを通じて伝達する。 本稿では,時間的伝播に先立ってトークン密度を選択的に低減し,推論効率を向上させるためのテキスト誘導型トークンプルーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-24T18:59:05Z)
• SparseVILA: Decoupling Visual Sparsity for Efficient VLM Inference [49.84148668264725]
  SparseVILAは効率的なVLM推論のための新しいパラダイムであり、前処理と復号の段階で視覚空間を疎結合する。 AWQ最適化推論パイプライン上に構築されたSparseVILAは、プリフィルの最大4.0倍、デコーディングの2.5倍、長文ビデオタスクの2.6倍のエンドツーエンド高速化を実現している。
  論文  参考訳（メタデータ） (2025-10-20T17:35:47Z)
• VScan: Rethinking Visual Token Reduction for Efficient Large Vision-Language Models [57.2662376527586]
  VScanは2段階のビジュアルトークン削減フレームワークである。 1)グローバルスキャンとローカルスキャンを視覚的エンコーディング中にマージすることで,(2)言語モデルの中間層にプルーニングを導入する。 VScanはプリフィルの2.91$times$スピードアップとFLOPの10$times$ダウンを実現し、オリジナルのパフォーマンスの95.4%を維持した。
  論文  参考訳（メタデータ） (2025-05-28T17:59:08Z)
• VideoScan: Enabling Efficient Streaming Video Understanding via Frame-level Semantic Carriers [23.541896057977745]
  VideoScanは、リアルタイムビデオインタラクションのための効率的な視覚言語モデル(VLM)推論フレームワークである。 VideoScanでは、各フレームを表すために単一のセマンティックキャリアトークンを使用している。
  論文  参考訳（メタデータ） (2025-03-12T13:30:40Z)
• Inference Optimal VLMs Need Fewer Visual Tokens and More Parameters [54.01228554126122]
  視覚言語モデル(VLM)は、様々な視覚的理解と推論タスクにまたがる強力な能力を示している。 推論コストを削減するために、LLM(Large Language Models)を縮小するか、イメージを表すのに必要な入力トークンの数を削減できる。 高速圧縮に適したトークン圧縮アルゴリズムを設計する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2024-11-05T18:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。