論文の概要: GPLQ: A General, Practical, and Lightning QAT Method for Vision Transformers

• arxiv url: http://arxiv.org/abs/2506.11784v1
• Date: Fri, 13 Jun 2025 13:45:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.814835
• Title: GPLQ: A General, Practical, and Lightning QAT Method for Vision Transformers
• Title（参考訳）: GPLQ: ビジョントランスフォーマーのための汎用的で実用的で軽量なQAT方法
• Authors: Guang Liang, Xinyao Liu, Jianxin Wu,
• Abstract要約: ビジョントランスフォーマー(ViT)はコンピュータビジョンに必須だが、計算集約性もある。 モデル量子化は、この難しさを軽減することを目的としているが、既存のPTQ(Post-Training Quantization)法とQAT(Quantization-Aware Training)法は、大きな制限を呈している。 本稿では,効率的なVT量子化のための新しいフレームワークであるGPLQ(General, Practical, and Quantization)を紹介する。
• 参考スコア（独自算出の注目度）: 11.452135395287119
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision Transformers (ViTs) are essential in computer vision but are computationally intensive, too. Model quantization, particularly to low bit-widths like 4-bit, aims to alleviate this difficulty, yet existing Post-Training Quantization (PTQ) and Quantization-Aware Training (QAT) methods exhibit significant limitations. PTQ often incurs substantial accuracy drop, while QAT achieves high accuracy but suffers from prohibitive computational costs, limited generalization to downstream tasks, training instability, and lacking of open-source codebase. To address these challenges, this paper introduces General, Practical, and Lightning Quantization (GPLQ), a novel framework designed for efficient and effective ViT quantization. GPLQ is founded on two key empirical insights: the paramount importance of activation quantization and the necessity of preserving the model's original optimization ``basin'' to maintain generalization. Consequently, GPLQ employs a sequential ``activation-first, weights-later'' strategy. Stage 1 keeps weights in FP32 while quantizing activations with a feature mimicking loss in only 1 epoch to keep it stay in the same ``basin'', thereby preserving generalization. Stage 2 quantizes weights using a PTQ method. As a result, GPLQ is 100x faster than existing QAT methods, lowers memory footprint to levels even below FP32 training, and achieves 4-bit model performance that is highly competitive with FP32 models in terms of both accuracy on ImageNet and generalization to diverse downstream tasks, including fine-grained visual classification and object detection. We will release an easy-to-use open-source toolkit supporting multiple vision tasks.
• Abstract（参考訳）: ビジョントランスフォーマー(ViT)はコンピュータビジョンに必須だが、計算集約性もある。 モデル量子化(特に4ビットのような低ビット幅)は、この難しさを軽減することを目的としているが、既存のPTQ(Post-Training Quantization)とQAT(Quantization-Aware Training)の手法では、大きな制限がある。 PTQは精度が低下することが多いが、QATは高い精度を達成しているが、計算コストの禁止、下流タスクへの一般化の制限、不安定なトレーニング、オープンソースのコードベースの欠如に悩まされている。 これらの課題に対処するため,本論文では,効率的なViT量子化を目的とした新しいフレームワークであるGeneral, Practical, and Lightning Quantization (GPLQ)を紹介する。 GPLQは、アクティベーション量子化の最も重要な重要性と、一般化を維持するためにモデルのオリジナルの最適化である ``basin'' を保存する必要性という、2つの重要な経験的洞察に基づいて構築されている。 その結果、GPLQ は ``activation-first, weights-later'' 戦略を逐次採用している。 ステージ 1 は FP32 の重みを保ちながら、1 のエポックにおける損失を模倣する特徴を量子化し、同じ `basin'' に留まり、一般化を保つ。 ステージ2はPTQ法を用いて重みを定量化する。 結果として、GPLQは既存のQATメソッドよりも100倍高速で、メモリフットプリントをFP32トレーニング以下のレベルまで下げ、ImageNet上の精度と、細粒度の視覚分類やオブジェクト検出を含む様々な下流タスクへの一般化の両方の観点からFP32モデルと高い競争力を持つ4ビットモデル性能を達成する。 複数のビジョンタスクをサポートするオープンソースのツールキットをリリースします。

関連論文リスト

• Post-Training Quantization for Video Matting [20.558324038808664]
  ビデオマッティングは、映画制作やバーチャルリアリティーといった応用に不可欠である。 トレーニング後の量子化(PTQ)は、ビデオマッティングの初期段階にある。 本稿では,ビデオマッチングモデルに特化して設計された,新規で汎用的なPTQフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-12T15:57:14Z)
• Task-Circuit Quantization: Leveraging Knowledge Localization and Interpretability for Compression [55.323397702682506]
  後トレーニング量子化(PTQ)は、コストのかかる再トレーニングなしに全精度重みを低ビット重みにマッピングすることで、モデルのメモリフットプリントを削減する。 我々は,自動回路発見に並列性を持つ新しい混合精度PTQ手法であるTask-Circuit Quantization (TaCQ)を開発した。
  論文  参考訳（メタデータ） (2025-04-10T02:19:03Z)
• GWQ: Gradient-Aware Weight Quantization for Large Language Models [56.22507677736051]
  大規模言語モデル(LLM)は、複雑な言語タスクの解決における優れたパフォーマンスを示している。 LLMを低ビットに圧縮することで、リソース制約のあるデバイスにデプロイできる。 低ビット重み量子化のための最初の量子化手法である勾配対応重み量子化(GWQ)を提案する。
  論文  参考訳（メタデータ） (2024-10-30T11:16:04Z)
• AdaLog: Post-Training Quantization for Vision Transformers with Adaptive Logarithm Quantizer [54.713778961605115]
  Vision Transformer (ViT) はコンピュータビジョンコミュニティにおいて最も普及しているバックボーンネットワークの1つである。 本稿では,AdaLog(Adaptive Logarithm AdaLog)量子化器を提案する。
  論文  参考訳（メタデータ） (2024-07-17T18:38:48Z)
• LiDAR-PTQ: Post-Training Quantization for Point Cloud 3D Object Detection [35.35457515189062]
  ポストトレーニング量子化(PTQ)は2次元視覚タスクで広く採用されている。 センターポイントに適用した場合、LiDAR-PTQは最先端の量子化性能が得られる。 LiDAR-PTQは、量子化対応のトレーニング手法よりも30倍高速である。
  論文  参考訳（メタデータ） (2024-01-29T03:35:55Z)
• QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
  重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。 これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。 我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-13T17:15:05Z)
• Norm Tweaking: High-performance Low-bit Quantization of Large Language Models [21.855106896725598]
  そこで本研究では,現在のPTQ手法のプラグインとして利用できるノルム調整手法を提案する。 本手法は,重量のみの量子化と重みとアクティベーションの連成量子化の両面で有意な改善を示す。 私たちのシンプルで効果的なアプローチは、現実世界のアプリケーションにとってより実用的です。
  論文  参考訳（メタデータ） (2023-09-06T06:51:15Z)
• A2Q: Accumulator-Aware Quantization with Guaranteed Overflow Avoidance [49.1574468325115]
  accumulator-aware Quantization (A2Q)は、量子化されたニューラルネットワーク(QNN)をトレーニングして、推論時のオーバーフローを回避するために設計された新しい重み量子化手法である。 A2Qは重み正規化にインスパイアされたユニークな定式化を導入し、アキュミュレータビット幅境界に従ってモデルの重みのL1ノルムを制約する。 A2Qは浮動小数点ベースラインと競合するモデルの精度を維持しつつ、低精度のアキュムレータのためのQNNを訓練できることを示す。
  論文  参考訳（メタデータ） (2023-08-25T17:28:58Z)
• RepQ-ViT: Scale Reparameterization for Post-Training Quantization of Vision Transformers [2.114921680609289]
  視覚変換器のための新しいPTQフレームワークRepQ-ViTを提案する。 RepQ-ViTは量子化と推論プロセスを分離する。 既存の強力なベースラインを上回り、ViTの4ビットPTQの精度を有効レベルまで向上させることができる。
  論文  参考訳（メタデータ） (2022-12-16T02:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。