論文の概要: DGL-GAN: Discriminator Guided Learning for GAN Compression
- arxiv url: http://arxiv.org/abs/2112.06502v1
- Date: Mon, 13 Dec 2021 09:24:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-15 01:56:20.318716
- Title: DGL-GAN: Discriminator Guided Learning for GAN Compression
- Title(参考訳): DGL-GAN:GAN圧縮のための差別化学習
- Authors: Yuesong Tian, Li Shen, Dacheng Tao, Zhifeng Li, Wei Liu
- Abstract要約: BigGANやStyleGAN2のような計算コストの高いGAN(Generative Adversarial Networks)は、高解像度および多彩な画像の合成において顕著な成果を上げている。
本稿では,bf DGL-GAN と呼ばれるバニラ bf GAN を圧縮するための,新しい単純な bf 識別器 bf 誘導 bf 学習手法を提案する。
- 参考スコア(独自算出の注目度): 78.66921096464306
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative Adversarial Networks (GANs) with high computation costs, e.g.,
BigGAN and StyleGAN2, have achieved remarkable results in synthesizing high
resolution and diverse images with high fidelity from random noises. Reducing
the computation cost of GANs while keeping generating photo-realistic images is
an urgent and challenging field for their broad applications on computational
resource-limited devices. In this work, we propose a novel yet simple {\bf
D}iscriminator {\bf G}uided {\bf L}earning approach for compressing vanilla
{\bf GAN}, dubbed {\bf DGL-GAN}. Motivated by the phenomenon that the teacher
discriminator may contain some meaningful information, we transfer the
knowledge merely from the teacher discriminator via the adversarial function.
We show DGL-GAN is valid since empirically, learning from the teacher
discriminator could facilitate the performance of student GANs, verified by
extensive experimental findings. Furthermore, we propose a two-stage training
strategy for training DGL-GAN, which can largely stabilize its training process
and achieve superior performance when we apply DGL-GAN to compress the two most
representative large-scale vanilla GANs, i.e., StyleGAN2 and BigGAN.
Experiments show that DGL-GAN achieves state-of-the-art (SOTA) results on both
StyleGAN2 (FID 2.92 on FFHQ with nearly $1/3$ parameters of StyleGAN2) and
BigGAN (IS 93.29 and FID 9.92 on ImageNet with nearly $1/4$ parameters of
BigGAN) and also outperforms several existing vanilla GAN compression
techniques. Moreover, DGL-GAN is also effective in boosting the performance of
original uncompressed GANs, original uncompressed StyleGAN2 boosted with
DGL-GAN achieves FID 2.65 on FFHQ, which achieves a new state-of-the-art
performance. Code and models are available at
\url{https://github.com/yuesongtian/DGL-GAN}.
- Abstract(参考訳): 計算コストの高いGAN(Generative Adversarial Networks)、例えばBigGANやStyleGAN2は、ランダムノイズから高解像度および多彩な画像の合成において顕著な成果を上げている。
フォトリアリスティック画像の生成を維持しながら、GANの計算コストを削減することは、計算資源に制限のあるデバイスに広く応用する上で、緊急かつ困難な分野である。
本研究では,バニラGANを圧縮する手法として,単純だが簡単な"bf D}iscriminator {\bf G}uided {\bf L}earning"を提案する。
教師判別者が有意義な情報を含むかもしれない現象に動機づけられ、我々はその知識を教師判別者からのみ、敵関数を介して伝達する。
dgl-ganの有効性は,教師の判別者からの学習が学生のgansのパフォーマンスを促進できるため,広範な実験結果により検証された。
さらに、DGL-GANを2つの代表的な大規模バニラGAN(StyleGAN2とBigGAN)を圧縮する際、DGL-GANのトレーニングプロセスを大幅に安定させ、優れた性能を達成するための2段階のトレーニング戦略を提案する。
実験の結果、DGL-GANはStyleGAN2(FFHQではFID 2.92、StyleGAN2では1/3$パラメータ)とBigGAN(画像NetではIS 93.29とFID 9.92、BigGANでは1/4$パラメータ)の両方で最先端のSOTA(State-of-the-art)を達成し、既存のバニラGAN圧縮技術よりも優れていた。
さらに、DGL-GANはオリジナルの非圧縮型GANの性能向上にも有効であり、DGL-GANで強化されたオリジナルのStyleGAN2はFFHQでFID 2.65を達成する。
コードとモデルは \url{https://github.com/yuesongtian/dgl-gan} で利用可能である。
関連論文リスト
- LD-GAN: Low-Dimensional Generative Adversarial Network for Spectral
Image Generation with Variance Regularization [72.4394510913927]
ディープラーニング法はスペクトル画像(SI)計算タスクの最先端技術である。
GANは、データ分散から学習およびサンプリングすることで、多様な拡張を可能にする。
この種のデータの高次元性は、GANトレーニングの収束を妨げるため、GANベースのSI生成は困難である。
本稿では, オートエンコーダ訓練における低次元表現分散を制御し, GANで生成されたサンプルの多様性を高めるための統計正則化を提案する。
論文 参考訳(メタデータ) (2023-04-29T00:25:02Z) - Sequential training of GANs against GAN-classifiers reveals correlated
"knowledge gaps" present among independently trained GAN instances [1.104121146441257]
我々は、繰り返しGAN分類器を訓練し、分類器を「偽」するGANを訓練する。
本稿では, GAN訓練力学, 出力品質, GAN分類器の一般化に対する効果について検討する。
論文 参考訳(メタデータ) (2023-03-27T18:18:15Z) - Rebooting ACGAN: Auxiliary Classifier GANs with Stable Training [45.70113212633225]
条件付き生成逆数ネットワーク(cGAN)は、クラス情報をGANに組み込んで現実的な画像を生成する。
最も一般的なcGANの1つは、ソフトマックスクロスエントロピー損失(ACGAN)を持つ補助分類器GANである。
ACGANはまた、多様性の欠如により容易に分類できるサンプルを生成する傾向がある。
論文 参考訳(メタデータ) (2021-11-01T17:51:33Z) - Online Multi-Granularity Distillation for GAN Compression [17.114017187236836]
GAN(Generative Adversarial Networks)は、優れた画像の獲得に成功している。
GANは、計算コストの最小化とメモリ使用の急激さにより、リソースに制約のあるデバイスにデプロイするのは難しい。
本稿では, 軽量なGANを得るために, オンライン多粒度蒸留方式を提案する。
論文 参考訳(メタデータ) (2021-08-16T05:49:50Z) - GMM-Based Generative Adversarial Encoder Learning [39.57350884615545]
GANのジェネレーション機能とエンコーダを組み合わせたシンプルなアーキテクチャのセットアップを紹介します。
GMMを介してエンコーダ潜時空間の出力をモデル化し、この潜時空間を用いた良好なクラスタリングとGANによる画像生成の改善の両方をもたらす。
論文 参考訳(メタデータ) (2020-12-08T16:12:16Z) - GAN Slimming: All-in-One GAN Compression by A Unified Optimization
Framework [94.26938614206689]
本稿では,GANスライミング(GAN Slimming)と呼ばれる,GAN圧縮のための複数の圧縮手段を組み合わせた最初の統一最適化フレームワークを提案する。
我々はGSを用いて、最先端のトランスファーネットワークであるCartoonGANを最大47倍圧縮し、視覚的品質を最小限に抑える。
論文 参考訳(メタデータ) (2020-08-25T14:39:42Z) - AutoGAN-Distiller: Searching to Compress Generative Adversarial Networks [98.71508718214935]
既存のGAN圧縮アルゴリズムは、特定のGANアーキテクチャの処理と損失に限られている。
近年の深部圧縮におけるAutoMLの成功に触発されて,GAN圧縮にAutoMLを導入し,AutoGAN-Distillerフレームワークを開発した。
我々はAGDを画像翻訳と超解像の2つの代表的なGANタスクで評価する。
論文 参考訳(メタデータ) (2020-06-15T07:56:24Z) - Freeze the Discriminator: a Simple Baseline for Fine-Tuning GANs [104.85633684716296]
判別器の冷凍下層を有するGANの簡易微調整が驚くほど良好であることを示す。
この単純なベースラインであるFreezeDは、非条件GANと条件GANの両方で使用されている従来の技術よりも大幅に優れている。
論文 参考訳(メタデータ) (2020-02-25T15:30:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。