論文の概要: Zero-Shot Learning of a Conditional Generative Adversarial Network for
Data-Free Network Quantization
- arxiv url: http://arxiv.org/abs/2210.14392v1
- Date: Wed, 26 Oct 2022 00:05:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 12:43:26.793799
- Title: Zero-Shot Learning of a Conditional Generative Adversarial Network for
Data-Free Network Quantization
- Title（参考訳）: データフリーネットワーク量子化のための条件付き生成逆ネットワークのゼロショット学習
- Authors: Yoojin Choi, Mostafa El-Khamy, Jungwon Lee
- Abstract要約: 本研究では,条件付き生成逆ネットワーク(CGAN)をトレーニングデータを用いずにトレーニングする方法を提案する。
条件付きジェネレータのゼロショット学習は、事前訓練された識別(分類)モデルのみを必要とし、訓練データを必要としない。
深層ニューラルネットワークのデータ自由量子化におけるZS-CGANの有用性を示す。
- 参考スコア（独自算出の注目度）: 44.22469647001933
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel method for training a conditional generative adversarial
network (CGAN) without the use of training data, called zero-shot learning of a
CGAN (ZS-CGAN). Zero-shot learning of a conditional generator only needs a
pre-trained discriminative (classification) model and does not need any
training data. In particular, the conditional generator is trained to produce
labeled synthetic samples whose characteristics mimic the original training
data by using the statistics stored in the batch normalization layers of the
pre-trained model. We show the usefulness of ZS-CGAN in data-free quantization
of deep neural networks. We achieved the state-of-the-art data-free network
quantization of the ResNet and MobileNet classification models trained on the
ImageNet dataset. Data-free quantization using ZS-CGAN showed a minimal loss in
accuracy compared to that obtained by conventional data-dependent quantization.
- Abstract（参考訳）: 本稿では,CGAN(ZS-CGAN)のゼロショット学習(ゼロショット学習)と呼ばれる,学習データを用いることなく,条件付き生成対向ネットワーク(CGAN)を訓練する方法を提案する。
条件付きジェネレータのゼロショット学習は、事前訓練された判別(分類)モデルだけで、トレーニングデータを必要としない。
特に、予め訓練されたモデルのバッチ正規化層に格納された統計を用いて、元のトレーニングデータを模倣したラベル付き合成サンプルを作成するように訓練する。
深層ニューラルネットワークのデータ自由量子化におけるZS-CGANの有用性を示す。
ImageNetデータセットでトレーニングしたResNetおよびMobileNet分類モデルの最先端データフリーネットワーク量子化を実現した。
ZS-CGANを用いたデータフリー量子化は、従来のデータ依存量子化よりも精度が低い。
関連論文リスト
- Diffusion-Model-Assisted Supervised Learning of Generative Models for
Density Estimation [10.793646707711442]
本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。
スコアベース拡散モデルを用いてラベル付きデータを生成する。
ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
論文 参考訳（メタデータ） (2023-10-22T23:56:19Z) - Post-training Model Quantization Using GANs for Synthetic Data
Generation [57.40733249681334]
量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。
本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
論文 参考訳（メタデータ） (2023-05-10T11:10:09Z) - An unfolding method based on conditional Invertible Neural Networks
(cINN) using iterative training [0.0]
非可逆ニューラルネットワーク(INN)のような生成ネットワークは確率的展開を可能にする。
模擬トレーニングサンプルとデータ間のずれを調整した展開のための反復条件INN(IcINN)を導入する。
論文 参考訳（メタデータ） (2022-12-16T19:00:05Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - ClusterQ: Semantic Feature Distribution Alignment for Data-Free
Quantization [111.12063632743013]
本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。
意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。
また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
論文 参考訳（メタデータ） (2022-04-30T06:58:56Z) - Synthesizing Informative Training Samples with GAN [31.225934266572192]
GAN(IT-GAN)を用いたインフォーマティブトレーニングサンプルの合成法を提案する。
具体的には、事前学習したGANモデルを凍結し、情報学習サンプルに対応する情報潜在ベクトルを学習する。
実験では、ディープニューラルネットワークがより速く学習し、IT-GAN生成したイメージでトレーニングされた場合のパフォーマンスが向上することを確認した。
論文 参考訳（メタデータ） (2022-04-15T15:16:01Z) - Diverse Sample Generation: Pushing the Limit of Data-free Quantization [85.95032037447454]
本稿では,データ不要なポストトレーニング量子化と量子化学習のための汎用的な2次サンプル生成手法を提案する。
大規模な画像分類タスクでは、DSGは既存のデータ自由量子化手法より一貫して優れている。
論文 参考訳（メタデータ） (2021-09-01T07:06:44Z) - Generative Zero-shot Network Quantization [41.75769117366117]
畳み込みニューラルネットワークは、低レベルの画像生成と復元における多数のトレーニングサンプルから現実的な画像優先度を学習することができる。
また,高レベル画像認識タスクでは,本質的バッチ正規化(bn)統計をトレーニングデータなしで活用することにより,各カテゴリの「現実的」画像をさらに再構築できることを示す。
論文 参考訳（メタデータ） (2021-01-21T04:10:04Z) - Statistical model-based evaluation of neural networks [74.10854783437351]
ニューラルネットワーク(NN)の評価のための実験装置を開発する。
このセットアップは、NNs vis-a-vis minimum-mean-square-error (MMSE)パフォーマンス境界のベンチマークに役立つ。
これにより、トレーニングデータサイズ、データ次元、データ幾何学、ノイズ、トレーニング条件とテスト条件のミスマッチの影響をテストできます。
論文 参考訳（メタデータ） (2020-11-18T00:33:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。