Fugu-MT 論文翻訳(概要): Diversifying Sample Generation for Accurate Data-Free Quantization

論文の概要: Diversifying Sample Generation for Accurate Data-Free Quantization

arxiv url: http://arxiv.org/abs/2103.01049v1
Date: Mon, 1 Mar 2021 14:46:02 GMT
ステータス: 処理完了
システム内更新日: 2021-03-03 16:33:01.825735
Title: Diversifying Sample Generation for Accurate Data-Free Quantization
Title（参考訳）: 高精度データフリー量子化のための分散サンプル生成
Authors: Xiangguo Zhang, Haotong Qin, Yifu Ding, Ruihao Gong, Qinghua Yan, Renshuai Tao, Yuhang Li, Fengwei Yu, Xianglong Liu
Abstract要約: 均質化による悪影響を軽減するために,DSG(Diverse Sample Generation)方式を提案する。我々の手法は多用途であり、AdaRoundのような最先端のポストトレーニング量子化手法にも適用できる。
参考スコア（独自算出の注目度）: 35.38029335993735
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Quantization has emerged as one of the most prevalent approaches to compress and accelerate neural networks. Recently, data-free quantization has been widely studied as a practical and promising solution. It synthesizes data for calibrating the quantized model according to the batch normalization (BN) statistics of FP32 ones and significantly relieves the heavy dependency on real training data in traditional quantization methods. Unfortunately, we find that in practice, the synthetic data identically constrained by BN statistics suffers serious homogenization at both distribution level and sample level and further causes a significant performance drop of the quantized model. We propose Diverse Sample Generation (DSG) scheme to mitigate the adverse effects caused by homogenization. Specifically, we slack the alignment of feature statistics in the BN layer to relax the constraint at the distribution level and design a layerwise enhancement to reinforce specific layers for different data samples. Our DSG scheme is versatile and even able to be applied to the state-of-the-art post-training quantization method like AdaRound. We evaluate the DSG scheme on the large-scale image classification task and consistently obtain significant improvements over various network architectures and quantization methods, especially when quantized to lower bits (e.g., up to 22% improvement on W4A4). Moreover, benefiting from the enhanced diversity, models calibrated by synthetic data perform close to those calibrated by real data and even outperform them on W4A4.
Abstract（参考訳）: 量子化は、ニューラルネットワークを圧縮し加速する最も一般的なアプローチの1つとして現れてきた。近年、データフリー量子化は実用的で有望なソリューションとして広く研究されている。 FP32のバッチ正規化(BN)統計に基づいて、量子化モデルを校正するデータを合成し、従来の量子化法における実際のトレーニングデータへの重い依存を著しく軽減する。残念なことに、BN統計によって制約された合成データは、分布レベルとサンプルレベルの両方で深刻な均質化を被り、さらに量子化モデルの性能低下を引き起こす。均質化による悪影響を軽減するために,DSG(Diverse Sample Generation)方式を提案する。具体的には、BN層における特徴統計の整合を緩め、分布レベルで制約を緩和し、異なるデータサンプルの特定の層を強化するための層方向の拡張を設計する。我々のDSGスキームは多用途であり、AdaRoundのような最先端のポストトレーニング量子化手法にも適用できる。 DSG方式を大規模画像分類タスクで評価し、特に低ビット(W4A4では最大22%改善)に量子化する場合には、様々なネットワークアーキテクチャや量子化手法に対して、一貫して大幅な改善が得られる。さらに、多様性の向上により、合成データで校正されたモデルは、実際のデータで校正されたモデルに近い性能を発揮し、W4A4でそれを上回ります。

関連論文リスト

Data Generation for Hardware-Friendly Post-Training Quantization [3.3998740964877463]
合成データを用いたゼロショット量子化(ZSQ)は、プライバシとセキュリティ制約下でのポストトレーニング量子化(PTQ)の重要なアプローチである。既存のデータ生成方法は、ハードウェアフレンドリーな量子化に適したデータを生成するのに苦労することが多い。ハードウェアフレンドリな量子化のためのデータ生成(DGH)を提案する。
論文参考訳（メタデータ） (2024-10-29T15:08:50Z)
EDA-DM: Enhanced Distribution Alignment for Post-Training Quantization of Diffusion Models [4.21216544443537]
量子化はモデルの複雑性を効果的に低減し、後学習量子化(PTQ)は拡散モデルの圧縮と加速に非常に有望である。既存の拡散モデルのPTQ法は, キャリブレーションサンプルレベルと再構成出力レベルの両方の分布ミスマッチ問題に悩まされている。本稿では,拡散モデル(EDA-DM)の学習後量子化のための分散アライメントの強化について述べる。
論文参考訳（メタデータ） (2024-01-09T14:42:49Z)
Post-training Model Quantization Using GANs for Synthetic Data Generation [57.40733249681334]
量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
論文参考訳（メタデータ） (2023-05-10T11:10:09Z)
Q-Diffusion: Quantizing Diffusion Models [52.978047249670276]
ポストトレーニング量子化(PTQ)は、他のタスクに対するゴーツー圧縮法であると考えられている。本稿では,一意なマルチステップパイプラインとモデルアーキテクチャに適した新しいPTQ手法を提案する。提案手法は,完全精度の非条件拡散モデルを同等の性能を維持しつつ4ビットに定量化できることを示す。
論文参考訳（メタデータ） (2023-02-08T19:38:59Z)
ScoreMix: A Scalable Augmentation Strategy for Training GANs with Limited Data [93.06336507035486]
GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。 ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
論文参考訳（メタデータ） (2022-10-27T02:55:15Z)
ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
論文参考訳（メタデータ） (2022-04-30T06:58:56Z)
Diverse Sample Generation: Pushing the Limit of Data-free Quantization [85.95032037447454]
本稿では,データ不要なポストトレーニング量子化と量子化学習のための汎用的な2次サンプル生成手法を提案する。大規模な画像分類タスクでは、DSGは既存のデータ自由量子化手法より一貫して優れている。
論文参考訳（メタデータ） (2021-09-01T07:06:44Z)
Zero-shot Adversarial Quantization [11.722728148523366]
ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
論文参考訳（メタデータ） (2021-03-29T01:33:34Z)
Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
論文参考訳（メタデータ） (2020-02-25T18:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。