論文の概要: ADFQ-ViT: Activation-Distribution-Friendly Post-Training Quantization for Vision Transformers

• arxiv url: http://arxiv.org/abs/2407.02763v2
• Date: Mon, 14 Oct 2024 07:22:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 15:02:18.292522
• Title: ADFQ-ViT: Activation-Distribution-Friendly Post-Training Quantization for Vision Transformers
• Title（参考訳）: ADFQ-ViT:視覚変換器のアクティベーション・ディストリビューション・フレンドリな後処理量子化
• Authors: Yanfeng Jiang, Ning Sun, Xueshuo Xie, Fei Yang, Tao Li,
• Abstract要約: ビジョントランスフォーマー(ViT)の量子化は、これらの課題を緩和するための有望なソリューションとして現れている。 既存の手法は依然として低ビットでの精度の低下に悩まされている。 ADFQ-ViTは、画像分類、オブジェクト検出、および4ビットでのインスタンスセグメンテーションタスクにおいて、様々なベースラインを大幅に改善する。
• 参考スコア（独自算出の注目度）: 7.155242379236052
• License:
• Abstract: Vision Transformers (ViTs) have exhibited exceptional performance across diverse computer vision tasks, while their substantial parameter size incurs significantly increased memory and computational demands, impeding effective inference on resource-constrained devices. Quantization has emerged as a promising solution to mitigate these challenges, yet existing methods still suffer from significant accuracy loss at low-bit. We attribute this issue to the distinctive distributions of post-LayerNorm and post-GELU activations within ViTs, rendering conventional hardware-friendly quantizers ineffective, particularly in low-bit scenarios. To address this issue, we propose a novel framework called Activation-Distribution-Friendly post-training Quantization for Vision Transformers, ADFQ-ViT. Concretely, we introduce the Per-Patch Outlier-aware Quantizer to tackle irregular outliers in post-LayerNorm activations. This quantizer refines the granularity of the uniform quantizer to a per-patch level while retaining a minimal subset of values exceeding a threshold at full-precision. To handle the non-uniform distributions of post-GELU activations between positive and negative regions, we design the Shift-Log2 Quantizer, which shifts all elements to the positive region and then applies log2 quantization. Moreover, we present the Attention-score enhanced Module-wise Optimization which adjusts the parameters of each quantizer by reconstructing errors to further mitigate quantization error. Extensive experiments demonstrate ADFQ-ViT provides significant improvements over various baselines in image classification, object detection, and instance segmentation tasks at 4-bit. Specifically, when quantizing the ViT-B model to 4-bit, we achieve a 10.23% improvement in Top-1 accuracy on the ImageNet dataset.
• Abstract（参考訳）: ビジョントランスフォーマー(ViT)は様々なコンピュータビジョンタスクにおいて例外的な性能を示し、そのパラメータサイズはメモリと計算の要求を大幅に増加させ、リソース制約のあるデバイスに対する効果的な推論を妨げている。 量子化はこれらの課題を軽減するための有望な解決策として現れてきたが、既存の手法は依然として低ビットでかなりの精度の損失を被っている。 この問題は、特に低ビットシナリオにおいて、従来のハードウェアフレンドリーな量子化器を非効率にするため、LayerNorm後およびGELU後のViT内でのアクティベーションの独特な分布に起因する。 この問題に対処するために,視覚変換器のアクティベーション・ディストリビューション・フレンドリなポストトレーニング量子化(ADFQ-ViT)という新しいフレームワークを提案する。 具体的には,Pper-Patch Outlier-aware Quantizerを導入し,LayerNorm後のアクティベーションにおける不規則なoutlierに対処する。 この量子化器は、均一な量子化器の粒度をパッチごとのレベルに洗練し、完全精度で閾値を超える最小限の値のサブセットを保持する。 正および負の領域間でのGELU後の活性化の非一様分布を扱うために、すべての要素を正の領域にシフトさせ、log2量子化を適用するShift-Log2 Quantizerを設計する。 さらに、各量子化器のパラメータを再構成して量子化誤差を緩和するアテンションスコア拡張モジュールワイズ最適化を提案する。 ADFQ-ViTは、画像分類、オブジェクト検出、および4ビットでのインスタンス分割タスクにおいて、様々なベースラインを大幅に改善する。 具体的には、ViT-Bモデルを4ビットに量子化すると、ImageNetデータセットのTop-1精度が10.23%向上する。

関連論文リスト

• DopQ-ViT: Towards Distribution-Friendly and Outlier-Aware Post-Training Quantization for Vision Transformers [2.0862654518798034]
  本稿では,視覚変換器のための分散親和性・外乱性を考慮したポストトレーニング量子化手法を提案する。 DopQ-ViTは、現在の量子化器の非効率性を分析し、TanQと呼ばれる分布に優しいタン量子化器を導入する。 DopQ-ViTは広範囲に検証され、量子化モデルの性能が大幅に向上した。
  論文  参考訳（メタデータ） (2024-08-06T16:40:04Z)
• AdaLog: Post-Training Quantization for Vision Transformers with Adaptive Logarithm Quantizer [54.713778961605115]
  Vision Transformer (ViT) はコンピュータビジョンコミュニティにおいて最も普及しているバックボーンネットワークの1つである。 本稿では,AdaLog(Adaptive Logarithm AdaLog)量子化器を提案する。
  論文  参考訳（メタデータ） (2024-07-17T18:38:48Z)
• I&S-ViT: An Inclusive & Stable Method for Pushing the Limit of Post-Training ViTs Quantization [63.07712842509526]
  我々は,ViTのPTQを包括的かつ安定した方法で制御する新しい手法であるI&S-ViTを紹介する。 I&S-ViTは3ビットのViT-Bの性能を50.68%向上させた。
  論文  参考訳（メタデータ） (2023-11-16T13:07:47Z)
• Quantization Variation: A New Perspective on Training Transformers with Low-Bit Precision [45.69716658698776]
  本稿では,トランスフォーマーによる低ビット量子化学習の難しさを識別する。 本稿では,視覚と言語変換の両面での変動を考慮した量子化手法を提案する。 我々のソリューションは2ビットのSwin-TとバイナリBERTベースを大幅に改善し、3.35%と1.4%の精度向上を実現した。
  論文  参考訳（メタデータ） (2023-07-01T13:01:39Z)
• Towards Accurate Post-Training Quantization for Vision Transformer [48.779346466374406]
  既存のトレーニング後の量子化手法は依然として深刻な性能低下を引き起こしている。 APQ-ViTは、既存のトレーニング後の量子化手法を証明マージンによって超越している。
  論文  参考訳（メタデータ） (2023-03-25T03:05:26Z)
• RepQ-ViT: Scale Reparameterization for Post-Training Quantization of Vision Transformers [2.114921680609289]
  視覚変換器のための新しいPTQフレームワークRepQ-ViTを提案する。 RepQ-ViTは量子化と推論プロセスを分離する。 既存の強力なベースラインを上回り、ViTの4ビットPTQの精度を有効レベルまで向上させることができる。
  論文  参考訳（メタデータ） (2022-12-16T02:52:37Z)
• NoisyQuant: Noisy Bias-Enhanced Post-Training Activation Quantization for Vision Transformers [53.85087932591237]
  NoisyQuantは、視覚変換器のトレーニング後のアクティベーション量子化性能に対する量子化器に依存しない拡張である。 理論的な洞察に基づいて、NoisyQuantは重い尾の活性化分布を積極的に変化させる最初の成功を達成している。 NoisyQuantは、最小の計算オーバーヘッドで視覚変換器のトレーニング後の量子化性能を大幅に改善する。
  論文  参考訳（メタデータ） (2022-11-29T10:02:09Z)
• Dynamic Dual Trainable Bounds for Ultra-low Precision Super-Resolution Networks [82.18396309806577]
  動的デュアル・トレーニング・バウンダリ(DDTB)と呼ばれる新しいアクティベーション・量子化器を提案する。 DDTBは超低精度で優れた性能を示した。 例えば、我々のDDTBは、EDSRを2ビットに量子化し、出力画像をx4にスケールアップする場合、Urban100ベンチマークで0.70dBのPSNRアップを達成する。
  論文  参考訳（メタデータ） (2022-03-08T04:26:18Z)
• AdaViT: Adaptive Tokens for Efficient Vision Transformer [91.88404546243113]
  本稿では,視覚変換器(ViT)の推論コストを,複雑さの異なる画像に対して適応的に調整する手法であるAdaViTを紹介する。 AdaViTは、推論が進むにつれてネットワーク内で処理されるビジョントランスフォーマーのトークン数を自動で削減することで、これを実現する。
  論文  参考訳（メタデータ） (2021-12-14T18:56:07Z)
• Understanding and Overcoming the Challenges of Efficient Transformer Quantization [17.05322956052278]
  トランスフォーマーベースのアーキテクチャは、幅広い自然言語処理タスクのデファクト標準モデルとなっている。 しかしながら、メモリフットプリントと高いレイテンシは、リソース制限されたデバイスへの効率的なデプロイメントと推論を禁止している。 変換器にはユニークな量子化の課題があり、すなわち、低ビットの固定点フォーマットで表すのが難しいハイダイナミックなアクティベーション範囲があることが示される。
  論文  参考訳（メタデータ） (2021-09-27T10:57:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。