論文の概要: Understanding and Overcoming the Challenges of Efficient Transformer
Quantization
- arxiv url: http://arxiv.org/abs/2109.12948v1
- Date: Mon, 27 Sep 2021 10:57:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-29 00:34:22.846593
- Title: Understanding and Overcoming the Challenges of Efficient Transformer
Quantization
- Title（参考訳）: 効率的な変圧器量子化の課題と克服
- Authors: Yelysei Bondarenko, Markus Nagel, Tijmen Blankevoort
- Abstract要約: トランスフォーマーベースのアーキテクチャは、幅広い自然言語処理タスクのデファクト標準モデルとなっている。
しかしながら、メモリフットプリントと高いレイテンシは、リソース制限されたデバイスへの効率的なデプロイメントと推論を禁止している。
変換器にはユニークな量子化の課題があり、すなわち、低ビットの固定点フォーマットで表すのが難しいハイダイナミックなアクティベーション範囲があることが示される。
- 参考スコア（独自算出の注目度）: 17.05322956052278
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based architectures have become the de-facto standard models for
a wide range of Natural Language Processing tasks. However, their memory
footprint and high latency are prohibitive for efficient deployment and
inference on resource-limited devices. In this work, we explore quantization
for transformers. We show that transformers have unique quantization challenges
-- namely, high dynamic activation ranges that are difficult to represent with
a low bit fixed-point format. We establish that these activations contain
structured outliers in the residual connections that encourage specific
attention patterns, such as attending to the special separator token. To combat
these challenges, we present three solutions based on post-training
quantization and quantization-aware training, each with a different set of
compromises for accuracy, model size, and ease of use. In particular, we
introduce a novel quantization scheme -- per-embedding-group quantization. We
demonstrate the effectiveness of our methods on the GLUE benchmark using BERT,
establishing state-of-the-art results for post-training quantization. Finally,
we show that transformer weights and embeddings can be quantized to ultra-low
bit-widths, leading to significant memory savings with a minimum accuracy loss.
Our source code is available
at~\url{https://github.com/qualcomm-ai-research/transformer-quantization}.
- Abstract（参考訳）: トランスフォーマーベースのアーキテクチャは、幅広い自然言語処理タスクのデファクト標準モデルとなっている。
しかしながら、メモリフットプリントと高いレイテンシは、リソース制限されたデバイスへの効率的なデプロイメントと推論を禁止している。
本研究では,変圧器の量子化について検討する。
変換器にはユニークな量子化の課題があり、すなわち、低ビットの固定点フォーマットで表すのが難しいハイダイナミックなアクティベーション範囲があることが示される。
これらのアクティベーションは、特別なセパレータトークンへの出席など、特定の注意パターンを促進する残りのコネクションの構造化された外れ値を含むことが判明する。
これらの課題に対処するために、トレーニング後の量子化と量子化対応トレーニングに基づく3つのソリューションを提案し、それぞれが精度、モデルサイズ、使いやすさの異なる妥協点を持つ。
特に,新しい量子化スキーム -- 組込み単位の量子化について紹介する。
bert を用いたglue ベンチマークにおいて,提案手法の有効性を実証し,トレーニング後の量子化に関する最新結果を確立した。
最後に、トランスフォーマーの重みと埋め込みを超低ビット幅に量子化でき、最小精度の損失を伴ってメモリを大幅に節約できることを示す。
ソースコードは~\url{https://github.com/qualcomm-ai-research/transformer-quantization}で利用可能です。
関連論文リスト
- AdaLog: Post-Training Quantization for Vision Transformers with Adaptive Logarithm Quantizer [54.713778961605115]
Vision Transformer (ViT) はコンピュータビジョンコミュニティにおいて最も普及しているバックボーンネットワークの1つである。
本稿では,AdaLog(Adaptive Logarithm AdaLog)量子化器を提案する。
論文 参考訳（メタデータ） (2024-07-17T18:38:48Z) - ADFQ-ViT: Activation-Distribution-Friendly Post-Training Quantization for Vision Transformers [7.155242379236052]
ビジョントランスフォーマー(ViT)の量子化は、これらの課題を緩和するための有望なソリューションとして現れている。
既存の手法は依然として低ビットでの精度の低下に悩まされている。
ADFQ-ViTは、画像分類、オブジェクト検出、および4ビットでのインスタンスセグメンテーションタスクにおいて、様々なベースラインを大幅に改善する。
論文 参考訳（メタデータ） (2024-07-03T02:41:59Z) - RepQuant: Towards Accurate Post-Training Quantization of Large
Transformer Models via Scale Reparameterization [8.827794405944637]
ポストトレーニング量子化(PTQ)は、大きなトランスモデルを圧縮するための有望な解である。
既存のPTQメソッドは、通常、非自明な性能損失を示す。
本稿では、量子化推論デカップリングパラダイムを備えた新しいPTQフレームワークRepQuantを提案する。
論文 参考訳（メタデータ） (2024-02-08T12:35:41Z) - PIPE : Parallelized Inference Through Post-Training Quantization
Ensembling of Residual Expansions [23.1120983784623]
PIPEは、残差誤差展開とグループ間隔とアンサンブル近似を利用して、より良い並列化を実現する量子化法である。
すべてのベンチマークアプリケーション(ビジョンからNLPタスクまで)、アーキテクチャ(ConvNet、トランスフォーマー、ビット幅)において、優れたパフォーマンスを実現している。
論文 参考訳（メタデータ） (2023-11-27T13:29:34Z) - PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language
Models [52.09865918265002]
ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。
PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。
BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
論文 参考訳（メタデータ） (2023-05-30T08:41:33Z) - RepQ-ViT: Scale Reparameterization for Post-Training Quantization of
Vision Transformers [2.114921680609289]
視覚変換器のための新しいPTQフレームワークRepQ-ViTを提案する。
RepQ-ViTは量子化と推論プロセスを分離する。
既存の強力なベースラインを上回り、ViTの4ビットPTQの精度を有効レベルまで向上させることができる。
論文 参考訳（メタデータ） (2022-12-16T02:52:37Z) - NoisyQuant: Noisy Bias-Enhanced Post-Training Activation Quantization
for Vision Transformers [53.85087932591237]
NoisyQuantは、視覚変換器のトレーニング後のアクティベーション量子化性能に対する量子化器に依存しない拡張である。
理論的な洞察に基づいて、NoisyQuantは重い尾の活性化分布を積極的に変化させる最初の成功を達成している。
NoisyQuantは、最小の計算オーバーヘッドで視覚変換器のトレーニング後の量子化性能を大幅に改善する。
論文 参考訳（メタデータ） (2022-11-29T10:02:09Z) - Cluster-Promoting Quantization with Bit-Drop for Minimizing Network
Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。
DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。
本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文 参考訳（メタデータ） (2021-09-05T15:15:07Z) - Post-Training Quantization for Vision Transformer [85.57953732941101]
本稿では,視覚変換器のメモリ記憶量と計算コストを削減するための学習後量子化アルゴリズムを提案する。
約8ビット量子化を用いて、ImageNetデータセット上でDeiT-Bモデルを用いて81.29%のトップ-1の精度を得ることができる。
論文 参考訳（メタデータ） (2021-06-27T06:27:22Z) - Gradient $\ell_1$ Regularization for Quantization Robustness [70.39776106458858]
トレーニング後の量子化に対するロバスト性を改善するための単純な正規化スキームを導出する。
量子化対応ネットワークをトレーニングすることにより、異なるビット幅にオンデマンドで量子化できる1組の重みを格納できる。
論文 参考訳（メタデータ） (2020-02-18T12:31:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。