論文の概要: Data-Free Quantization with Accurate Activation Clipping and Adaptive Batch Normalization

• arxiv url: http://arxiv.org/abs/2204.04215v1
• Date: Fri, 8 Apr 2022 01:56:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-16 11:54:06.753509
• Title: Data-Free Quantization with Accurate Activation Clipping and Adaptive Batch Normalization
• Title（参考訳）: 正確なアクティベーションクリッピングと適応バッチ正規化によるデータ自由量子化
• Authors: Yefei He, Luoming Zhang, Weijia Wu, Hong Zhou
• Abstract要約: 正確なアクティベーションクリッピングと適応バッチ正規化を備えたデータフリー量子化法を提案する。 実験により、提案したデータフリーな量子化手法が驚くほどの性能を示し、ImageNetデータセット上のResNet18の64.33%のトップ1精度を達成した。
• 参考スコア（独自算出の注目度）: 4.329951775163721
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-free quantization is a task that compresses the neural network to low bit-width without access to original training data. Most existing data-free quantization methods cause severe performance degradation due to inaccurate activation clipping range and quantization error, especially for low bit-width. In this paper, we present a simple yet effective data-free quantization method with accurate activation clipping and adaptive batch normalization. Accurate activation clipping (AAC) improves the model accuracy by exploiting accurate activation information from the full-precision model. Adaptive batch normalization firstly proposes to address the quantization error from distribution changes by updating the batch normalization layer adaptively. Extensive experiments demonstrate that the proposed data-free quantization method can yield surprisingly performance, achieving 64.33% top-1 accuracy of ResNet18 on ImageNet dataset, with 3.7% absolute improvement outperforming the existing state-of-the-art methods.
• Abstract（参考訳）: データフリー量子化は、元のトレーニングデータにアクセスすることなく、ニューラルネットワークを低ビット幅に圧縮するタスクである。 既存のデータフリー量子化手法の多くは、不正確なアクティベーションクリッピング範囲と量子化誤差、特にビット幅が低いため、性能が著しく低下する。 本稿では,正確なアクティベーションクリッピングと適応バッチ正規化を用いた,単純かつ効率的なデータフリー量子化手法を提案する。 正確なアクティベーションクリッピング(AAC)は、フル精度モデルから正確なアクティベーション情報を活用することにより、モデルの精度を向上させる。 適応バッチ正規化は、まず、バッチ正規化層を適応的に更新することにより、分布変化からの量子化誤差に対処することを提案する。 広範な実験により、提案手法は、imagenetデータセット上でresnet18の64.33%のtop-1精度を達成し、既存の最先端手法よりも3.7%の絶対改善が得られた。

関連論文リスト

• MetaAug: Meta-Data Augmentation for Post-Training Quantization [32.02377559968568]
  トレーニング後の量子化(PTQ)は、完全な精度モデルを定量化するために、小さなキャリブレーションデータのみを必要とするため、大きな注目を集めている。 本稿では,ポストトレーニング量子化の性能向上のためのメタラーニングに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-20T02:18:51Z)
• QuEST: Low-bit Diffusion Model Quantization via Efficient Selective Finetuning [52.157939524815866]
  本稿では,現行手法の有効性を損なう量子拡散モデルの3つの特性を実証的に明らかにする。 重要な時間的情報を保持する層と、ビット幅の低減に敏感な層という、2つの重要なタイプの量子化層を同定する。 提案手法は,3つの高分解能画像生成タスクに対して評価し,様々なビット幅設定で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-02-06T03:39:44Z)
• On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
  エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。 このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。 精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
  論文  参考訳（メタデータ） (2023-09-05T04:39:34Z)
• Data-Free Quantization via Mixed-Precision Compensation without Fine-Tuning [20.413801240717646]
  本研究では,データと微調整を伴わない超低精度量子化モデルの性能を回復するデータフリー混合精度補償法を提案する。 我々のDF-MPCは、データや微調整を伴わない最近の手法と比較して、超高精度量子化モデルの高精度化を実現している。
  論文  参考訳（メタデータ） (2023-07-02T07:16:29Z)
• Post-training Model Quantization Using GANs for Synthetic Data Generation [57.40733249681334]
  量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。 本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
  論文  参考訳（メタデータ） (2023-05-10T11:10:09Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Zero-shot Adversarial Quantization [11.722728148523366]
  ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。 これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。 強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
  論文  参考訳（メタデータ） (2021-03-29T01:33:34Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• VecQ: Minimal Loss DNN Model Compression With Vectorized Weight Quantization [19.66522714831141]
  我々は、最小の直接量子化損失とモデル精度を保証できるVecQと呼ばれる新しい量子化ソリューションを開発した。 また,学習中に提案した量子化過程を高速化するために,パラメータ化推定と確率ベース計算を用いて量子化過程を高速化する。
  論文  参考訳（メタデータ） (2020-05-18T07:38:44Z)
• Generative Low-bitwidth Data Free Quantization [44.613912463011545]
  本稿ではGDFQ(Generative Low-bitdth Data Free Quantization)を提案する。 生成したデータの助けを借りて、事前学習されたモデルから知識を学習することでモデルを定量化することができる。 提案手法は,既存のデータ自由量子化法よりも高精度な4ビット量子化を実現する。
  論文  参考訳（メタデータ） (2020-03-07T16:38:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。