論文の概要: Data-Free Network Quantization With Adversarial Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2005.04136v1
- Date: Fri, 8 May 2020 16:24:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 11:32:16.724839
- Title: Data-Free Network Quantization With Adversarial Knowledge Distillation
- Title（参考訳）: 逆知識蒸留によるデータフリーネットワーク量子化
- Authors: Yoojin Choi, Jihwan Choi, Mostafa El-Khamy, Jungwon Lee
- Abstract要約: 本稿では,合成データを用いたデータフリーネットワーク量子化について考察する。
合成データはジェネレータから生成されるが、ジェネレータのトレーニングや量子化にはデータを使用しない。
複数のジェネレータと複数の学生を用いて多様な対向サンプルを作成できることを示す。
- 参考スコア（独自算出の注目度）: 39.92282726292386
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Network quantization is an essential procedure in deep learning for
development of efficient fixed-point inference models on mobile or edge
platforms. However, as datasets grow larger and privacy regulations become
stricter, data sharing for model compression gets more difficult and
restricted. In this paper, we consider data-free network quantization with
synthetic data. The synthetic data are generated from a generator, while no
data are used in training the generator and in quantization. To this end, we
propose data-free adversarial knowledge distillation, which minimizes the
maximum distance between the outputs of the teacher and the (quantized) student
for any adversarial samples from a generator. To generate adversarial samples
similar to the original data, we additionally propose matching statistics from
the batch normalization layers for generated data and the original data in the
teacher. Furthermore, we show the gain of producing diverse adversarial samples
by using multiple generators and multiple students. Our experiments show the
state-of-the-art data-free model compression and quantization results for
(wide) residual networks and MobileNet on SVHN, CIFAR-10, CIFAR-100, and
Tiny-ImageNet datasets. The accuracy losses compared to using the original
datasets are shown to be very minimal.
- Abstract（参考訳）: ネットワーク量子化は,モバイルプラットフォームやエッジプラットフォーム上での効率的な固定点推論モデルの開発において,ディープラーニングにおいて不可欠な手法である。
しかし、データセットが大きくなり、プライバシー規制が厳格になるにつれて、モデル圧縮のためのデータ共有は難しくなり、制限される。
本稿では,合成データを用いたデータフリーネットワーク量子化について考察する。
合成データはジェネレータから生成されるが、ジェネレータのトレーニングや量子化にはデータを使用しない。
そこで本研究では,教師の出力と(定量化)学生との最大距離を最小化するデータフリー逆知識蒸留法を提案する。
また,原データと類似した逆サンプルを生成するために,生成データに対するバッチ正規化層と教師の原データとのマッチング統計値を提案する。
さらに,複数のジェネレータと複数の学生を用いて多様な対向サンプルを作成できることを示す。
実験では,SVHN, CIFAR-10, CIFAR-100, Tiny-ImageNetデータセット上の残差ネットワークとMobileNetの最先端データフリーモデル圧縮と量子化結果を示す。
元のデータセットと比較して精度の低下は最小限であることが示されている。
関連論文リスト
- Learning Privacy-Preserving Student Networks via Discriminative-Generative Distillation [24.868697898254368]
ディープモデルは、実用デプロイメントにおいてプライバシー漏洩のリスクを引き起こす可能性がある。
本稿では,プライバシー保護深層モデル学習のための識別・生成蒸留手法を提案する。
提案手法は,プライベートデータに対するクエリコストと精度の低下を統一的に制御できる。
論文 参考訳（メタデータ） (2024-09-04T03:06:13Z) - Dataset Quantization [72.61936019738076]
大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。
DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
論文 参考訳（メタデータ） (2023-08-21T07:24:29Z) - Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
生成過程が下流MLタスクにどのように影響するかを示す。
本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
論文 参考訳（メタデータ） (2023-05-16T07:30:29Z) - Post-training Model Quantization Using GANs for Synthetic Data
Generation [57.40733249681334]
量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。
本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
論文 参考訳（メタデータ） (2023-05-10T11:10:09Z) - ScoreMix: A Scalable Augmentation Strategy for Training GANs with
Limited Data [93.06336507035486]
GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。
ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
論文 参考訳（メタデータ） (2022-10-27T02:55:15Z) - FairGen: Fair Synthetic Data Generation [0.3149883354098941]
本稿では,GANアーキテクチャに依存しないより公平な合成データを生成するパイプラインを提案する。
合成データを生成する場合、ほとんどのGANはトレーニングデータに存在するバイアスを増幅するが、これらのバイアスを誘発するサンプルを除去することで、GANは本質的に真の情報的サンプルに重点を置いている、と我々は主張する。
論文 参考訳（メタデータ） (2022-10-24T08:13:47Z) - Preventing Catastrophic Forgetting and Distribution Mismatch in
Knowledge Distillation via Synthetic Data [5.064036314529226]
本稿では,データフリーなKDフレームワークを提案する。
実験により,KDを用いて得られた学生モデルの精度を,最先端の手法と比較して向上できることが実証された。
論文 参考訳（メタデータ） (2021-08-11T08:11:08Z) - Lessons Learned from the Training of GANs on Artificial Datasets [0.0]
GAN(Generative Adversarial Networks)は,近年,現実的な画像の合成において大きな進歩を遂げている。
GANは不適合や過度に適合する傾向があり、分析が困難で制約を受ける。
無限に多くのサンプルがあり、実際のデータ分布は単純である人工データセットでトレーニングする。
GANのトレーニング混合物はネットワークの深さや幅を増大させるよりもパフォーマンスが向上することがわかった。
論文 参考訳（メタデータ） (2020-07-13T14:51:02Z) - XOR Mixup: Privacy-Preserving Data Augmentation for One-Shot Federated
Learning [49.130350799077114]
我々は、XorMixupという、プライバシー保護のためのXORベースのミックスアップデータ拡張技術を開発した。
中心となる考え方は、各デバイスのデータサンプルのみを使用してデコードされた、他のデバイスのエンコードされたデータサンプルを収集することである。
XorMixFLは、非IID MNISTデータセットの下で、Vanilla FLよりも最大17.6%高い精度を達成する。
論文 参考訳（メタデータ） (2020-06-09T09:43:41Z) - Generative Low-bitwidth Data Free Quantization [44.613912463011545]
本稿ではGDFQ(Generative Low-bitdth Data Free Quantization)を提案する。
生成したデータの助けを借りて、事前学習されたモデルから知識を学習することでモデルを定量化することができる。
提案手法は,既存のデータ自由量子化法よりも高精度な4ビット量子化を実現する。
論文 参考訳（メタデータ） (2020-03-07T16:38:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。