論文の概要: P4Q: Co-designing Token Pruning and Quantization for Vision-Language Model Acceleration
- arxiv url: http://arxiv.org/abs/2609.34867v1
- Date: Mon, 28 Sep 2026 10:54:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 02:07:26.050343
- Title: P4Q: Co-designing Token Pruning and Quantization for Vision-Language Model Acceleration
- Title（参考訳）: P4Q:ビジョンランゲージモデル加速のための共設計トーケンプルーニングと量子化
- Abstract要約: P4Qは、効率的なVLM推論のために、視覚トークンプルーニングと低ビット量子化を共同で最適化するフレームワークである。
8つの異なるテストセットにまたがる平均的なエンドツーエンドの推論速度は2.8倍であり、以前の圧縮と量子化の手法よりも高い精度を維持している。
- 参考スコア（独自算出の注目度）: 10.288638099945763
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision language models have achieved strong performance across a wide range of multimodal applications, yet their substantial computational and memory costs hinder efficient deployment. Visual token pruning and post-training quantization reduce inference overhead along two complementary dimensions, namely sequence length and numerical precision. Existing workflows typically optimize these techniques independently or apply them sequentially. Their distinct optimization objectives leave critical interactions unaddressed and constrain the achievable compression performance. We revisit these designs and present P4Q, a practical co-design framework that jointly optimizes visual token pruning and low-bit quantization for efficient VLM inference. First, P4Q introduces a quantization-aware visual token selection strategy before the LLM. It applies fake quantization to copies of the features produced by the projector and selects visual tokens using statistics computed from these fake-quantized features, thereby conditioning the selector's feature-based decisions on simulated low-bit perturbations. Second, P4Q introduces a pruning-aware quantization calibration strategy. It uses the same selection strategy as pruning to calibrate the quantized model on the retained-token distribution, thereby aligning the calibration process with the pruned execution path used during deployment. By coupling these two components, P4Q achieves substantial inference speedups while maintaining comparable task performance, resulting in a better efficiency-accuracy trade-off than independently optimized pipelines. For instance, on LLaVA-NeXT, P4Q achieves an average end-to-end inference speedup of 2.8x across eight distinct test sets, while retaining higher accuracy than prior compression and quantization methods.
- Abstract（参考訳）: ビジョン言語モデルは、広範囲のマルチモーダルアプリケーションにおいて強力な性能を達成しているが、その計算とメモリの大幅なコストは、効率的なデプロイメントを妨げる。
視覚トークンプルーニングと後トレーニング量子化は、2つの相補的な次元、すなわちシーケンス長と数値精度に沿った推論オーバーヘッドを減少させる。
既存のワークフローは通常、これらのテクニックを独立して最適化するか、順次適用する。
それぞれの最適化目的は、重要な相互作用を未適応にし、達成可能な圧縮性能を制限することである。
我々はこれらの設計を再考し、効率的なVLM推論のために視覚トークンプルーニングと低ビット量子化を共同で最適化する実用的な共同設計フレームワークであるP4Qを提示する。
まず、P4QはLLMの前に量子化対応の視覚トークン選択戦略を導入する。
プロジェクタが生成した特徴のコピーに偽量子化を適用し、これらの偽量子化特徴から計算された統計を用いて視覚トークンを選択し、シミュレートされた低ビット摂動に対してセレクタの特徴に基づく決定を条件付ける。
第二に、P4Qはプルーニング対応の量子化校正戦略を導入する。
プルーニングと同じ選択戦略を用いて、保持されたトケン分布上の量子化モデルをキャリブレーションし、キャリブレーションプロセスとデプロイメント中に使用されるプルーニング実行パスを整合させる。
これら2つのコンポーネントを結合することにより、P4Qは、同等のタスク性能を維持しながら、相当量の推論スピードアップを達成する。
例えば、LLaVA-NeXTでは、P4Qは8つの異なるテストセットに対して平均2.8倍のエンドツーエンドの推論速度を達成する。
関連論文リスト
- FOCUS: FP4 Optimization via Coupled-Relaxation and Dual-Granularity Scaling [23.78963716646984]
FOCUSは、FP4最適化のためのエンドツーエンドのスケール学習を備えた、トレーニング後の量子化フレームワークである。
量子化と量子化スケールの密結合を学習可能な完全精度係数で緩和する。
FOCUSはMXFP4フォーマットとNVFP4フォーマットの両方で最先端のFP4精度を実現する。
論文 参考訳（メタデータ） (2026-08-03T07:54:56Z) - SOAR: Scale Optimization for Accurate Reconstruction in NVFP4 Quantization [19.022444007775896]
NVFP4は、最近、大規模言語モデルの効率的な4ビットマイクロスケーリングフォーマットとして登場した。
既存の方法は、しばしば、柔軟性のないスケールの選択と、量子化と量子化のスケールの併用による、最適以下の性能をもたらす。
NVFP4量子化の精度を向上する新しい学習後量子化フレームワークであるSOAR(Scale Optimization for Accurate Reconstruction)を提案する。
論文 参考訳（メタデータ） (2026-05-12T15:13:18Z) - QAPruner: Quantization-Aware Vision Token Pruning for Multimodal Large Language Models [18.353831760548267]
MLLM(Multimodal Large Language Models)は、強力な推論能力を示しているが、その高い計算とメモリコストは、リソース制約された設定でのデプロイメントを妨げる。
ポストトレーニング量子化(PTQ)とビジョントークンプルーニングは標準的な圧縮技術であるが、通常は独立した最適化として扱われる。
本稿では,これらの2つの手法が強く結合していることを示し,PTQ最適化MLLMに対して意味に基づくトークンプルーニングを適用することにより,数値安定性に重要なアクティベーションアウトレーヤを廃止し,低ビット状態における量子化誤差を悪化させることができることを示す。
量子化対応型視覚トークンプルーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-03T07:32:07Z) - Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。
Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
論文 参考訳（メタデータ） (2025-09-28T13:27:38Z) - Beyond Outliers: A Study of Optimizers Under Quantization [82.75879062804955]
量子化下でのモデルロバスト性に対する選択の影響について検討する。
モデルの性能が、異なるベースラインでトレーニングした場合にどのように低下するかを評価する。
異なるパラメータによる量子化対応トレーニングのスケーリング法則を導出する。
論文 参考訳（メタデータ） (2025-09-27T21:15:22Z) - PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。
PT$2$-LLMを提案する。
その中核は2段精製パイプラインを備えた非対称3次量子化器である。
論文 参考訳（メタデータ） (2025-09-27T03:01:48Z) - Post-Training Quantization for Video Matting [20.558324038808664]
ビデオマッティングは、映画制作やバーチャルリアリティーといった応用に不可欠である。
トレーニング後の量子化(PTQ)は、ビデオマッティングの初期段階にある。
本稿では,ビデオマッチングモデルに特化して設計された,新規で汎用的なPTQフレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-12T15:57:14Z) - P4Q: Learning to Prompt for Quantization in Visual-language Models [38.87018242616165]
量子化のためのPrompt(P4Q)という,微調整と量子化のバランスをとる手法を提案する。
提案手法は,低ビット量子化による画像特徴とテキスト特徴とのギャップを効果的に低減することができる。
私たちの8ビットP4Qは理論上CLIP-ViT/B-32を4$times$で圧縮でき、Top-1の精度は66.94%である。
論文 参考訳（メタデータ） (2024-09-26T08:31:27Z) - SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である
本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。
実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2024-05-23T16:21:48Z) - AffineQuant: Affine Transformation Quantization for Large Language Models [58.45460102764]
ポストトレーニング量子化(PTQ)は、その圧縮効率とトレーニングの文脈における費用対効果により、かなりの関心を集めている。
既存の大規模言語モデル(LLM)のPTQ手法は、事前量子化重みと後量子化重みの間の変換のスケーリングに最適化範囲を制限している。
本稿では,PTQ(AffineQuant)における等価アフィン変換を用いた直接最適化を提唱する。
論文 参考訳（メタデータ） (2024-03-19T08:40:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。