論文の概要: Towards Accurate Post-Training Quantization for Vision Transformer
- arxiv url: http://arxiv.org/abs/2303.14341v1
- Date: Sat, 25 Mar 2023 03:05:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 20:29:13.115694
- Title: Towards Accurate Post-Training Quantization for Vision Transformer
- Title（参考訳）: ビジョントランスの精度向上に向けて
- Authors: Yifu Ding, Haotong Qin, Qinghua Yan, Zhenhua Chai, Junjie Liu, Xiaolin
Wei, Xianglong Liu
- Abstract要約: 既存のトレーニング後の量子化手法は依然として深刻な性能低下を引き起こしている。
APQ-ViTは、既存のトレーニング後の量子化手法を証明マージンによって超越している。
- 参考スコア（独自算出の注目度）: 48.779346466374406
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision transformer emerges as a potential architecture for vision tasks.
However, the intense computation and non-negligible delay hinder its
application in the real world. As a widespread model compression technique,
existing post-training quantization methods still cause severe performance
drops. We find the main reasons lie in (1) the existing calibration metric is
inaccurate in measuring the quantization influence for extremely low-bit
representation, and (2) the existing quantization paradigm is unfriendly to the
power-law distribution of Softmax. Based on these observations, we propose a
novel Accurate Post-training Quantization framework for Vision Transformer,
namely APQ-ViT. We first present a unified Bottom-elimination Blockwise
Calibration scheme to optimize the calibration metric to perceive the overall
quantization disturbance in a blockwise manner and prioritize the crucial
quantization errors that influence more on the final output. Then, we design a
Matthew-effect Preserving Quantization for Softmax to maintain the power-law
character and keep the function of the attention mechanism. Comprehensive
experiments on large-scale classification and detection datasets demonstrate
that our APQ-ViT surpasses the existing post-training quantization methods by
convincing margins, especially in lower bit-width settings (e.g., averagely up
to 5.17% improvement for classification and 24.43% for detection on W4A4). We
also highlight that APQ-ViT enjoys versatility and works well on diverse
transformer variants.
- Abstract（参考訳）: ビジョントランスフォーマーは、ビジョンタスクの潜在的なアーキテクチャとして現れる。
しかし、激しい計算と無視できない遅延は、実世界での応用を妨げる。
モデル圧縮技術として、既存のトレーニング後の量子化手法は依然として深刻な性能低下を引き起こす。
その結果,(1)既存の校正基準が極めて低ビット表現に対する量子化の影響を測定するのに不正確であり,(2)既存の量子化パラダイムはソフトマックスのパワーロー分布には不向きであることがわかった。
そこで,本研究では視覚トランスフォーマーのための高精度後訓練量子化フレームワークapq-vitを提案する。
まず, ボトム除去ブロックワイズキャリブレーション方式を提案し, キャリブレーション基準を最適化し, ブロックワイズ方式で全体の量子化障害を知覚し, 最終出力に影響を及ぼす重要な量子化誤差を優先順位付けする。
次に, パワーローキャラクタの維持と注意機構の維持のために, ソフトマックスのマシュー効果保存量子化をデザインする。
大規模な分類と検出データセットに関する総合的な実験は、APQ-ViTが既存のトレーニング後の量子化手法を、特に低ビット幅設定(例えば、分類における平均5.17%の改善とW4A4における検出に対する24.43%)で、マージンを証明していることを示している。
また,apq-vitは汎用性が高く,多種多様な変圧器でも機能する点を強調する。
関連論文リスト
- DopQ-ViT: Towards Distribution-Friendly and Outlier-Aware Post-Training Quantization for Vision Transformers [2.0862654518798034]
本稿では,視覚変換器のための分散親和性・外乱性を考慮したポストトレーニング量子化手法を提案する。
DopQ-ViTは、現在の量子化器の非効率性を分析し、TanQと呼ばれる分布に優しいタン量子化器を導入する。
DopQ-ViTは広範囲に検証され、量子化モデルの性能が大幅に向上した。
論文 参考訳（メタデータ） (2024-08-06T16:40:04Z) - ADFQ-ViT: Activation-Distribution-Friendly Post-Training Quantization for Vision Transformers [7.155242379236052]
ビジョントランスフォーマー(ViT)の量子化は、これらの課題を緩和するための有望なソリューションとして現れている。
既存の手法は依然として低ビットでの精度の低下に悩まされている。
ADFQ-ViTは、画像分類、オブジェクト検出、および4ビットでのインスタンスセグメンテーションタスクにおいて、様々なベースラインを大幅に改善する。
論文 参考訳（メタデータ） (2024-07-03T02:41:59Z) - AffineQuant: Affine Transformation Quantization for Large Language Models [58.45460102764]
ポストトレーニング量子化(PTQ)は、その圧縮効率とトレーニングの文脈における費用対効果により、かなりの関心を集めている。
既存の大規模言語モデル(LLM)のPTQ手法は、事前量子化重みと後量子化重みの間の変換のスケーリングに最適化範囲を制限している。
本稿では,PTQ(AffineQuant)における等価アフィン変換を用いた直接最適化を提唱する。
論文 参考訳（メタデータ） (2024-03-19T08:40:21Z) - MPTQ-ViT: Mixed-Precision Post-Training Quantization for Vision
Transformer [7.041718444626999]
視覚変換器(MPTQ-ViT)のための混合精度後学習量子化フレームワークを提案する。
我々のViT,DeiT,Swinに関する実験では,ImageNetデータセットのSOTAと比較して精度が大幅に向上した。
論文 参考訳（メタデータ） (2024-01-26T14:25:15Z) - ViT-Calibrator: Decision Stream Calibration for Vision Transformer [49.60474757318486]
本稿では、一般的な視覚変換器の性能を高めるための、決定ストリームと呼ばれる新しいパラダイムを提案する。
異なるトークンと複数の次元の関連係数の相関関係を探索し,学習過程における情報伝達機構について光を当てた。
論文 参考訳（メタデータ） (2023-04-10T02:40:24Z) - RepQ-ViT: Scale Reparameterization for Post-Training Quantization of
Vision Transformers [2.114921680609289]
視覚変換器のための新しいPTQフレームワークRepQ-ViTを提案する。
RepQ-ViTは量子化と推論プロセスを分離する。
既存の強力なベースラインを上回り、ViTの4ビットPTQの精度を有効レベルまで向上させることができる。
論文 参考訳（メタデータ） (2022-12-16T02:52:37Z) - NoisyQuant: Noisy Bias-Enhanced Post-Training Activation Quantization
for Vision Transformers [53.85087932591237]
NoisyQuantは、視覚変換器のトレーニング後のアクティベーション量子化性能に対する量子化器に依存しない拡張である。
理論的な洞察に基づいて、NoisyQuantは重い尾の活性化分布を積極的に変化させる最初の成功を達成している。
NoisyQuantは、最小の計算オーバーヘッドで視覚変換器のトレーニング後の量子化性能を大幅に改善する。
論文 参考訳（メタデータ） (2022-11-29T10:02:09Z) - Q-ViT: Accurate and Fully Quantized Low-bit Vision Transformer [56.87383229709899]
我々は、完全量子化視覚変換器(Q-ViT)のための情報修正モジュール(IRM)と分配誘導蒸留法を開発した。
我々の手法は、先行技術よりもはるかに優れたパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-10-13T04:00:29Z) - PTQ4ViT: Post-training quantization for vision transformers with twin uniform quantization [12.136898590792754]
視覚変換器における量子化の問題を分析する。
そこで本研究では,これらのアクティベーション値の量子化誤差を低減するために,ツイン均一量子化法を提案する。
実験では、ImageNet分類タスクにおいて、量子化された視覚変換器は、ほぼロスレスな予測精度(8ビットの量子化で0.5%以下)を達成することを示した。
論文 参考訳（メタデータ） (2021-11-24T06:23:06Z) - Post-Training Quantization for Vision Transformer [85.57953732941101]
本稿では,視覚変換器のメモリ記憶量と計算コストを削減するための学習後量子化アルゴリズムを提案する。
約8ビット量子化を用いて、ImageNetデータセット上でDeiT-Bモデルを用いて81.29%のトップ-1の精度を得ることができる。
論文 参考訳（メタデータ） (2021-06-27T06:27:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。