論文の概要: DGL-GAN: Discriminator Guided Learning for GAN Compression

• arxiv url: http://arxiv.org/abs/2112.06502v1
• Date: Mon, 13 Dec 2021 09:24:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-15 01:56:20.318716
• Title: DGL-GAN: Discriminator Guided Learning for GAN Compression
• Title（参考訳）: DGL-GAN:GAN圧縮のための差別化学習
• Authors: Yuesong Tian, Li Shen, Dacheng Tao, Zhifeng Li, Wei Liu
• Abstract要約: BigGANやStyleGAN2のような計算コストの高いGAN(Generative Adversarial Networks)は、高解像度および多彩な画像の合成において顕著な成果を上げている。 本稿では,bf DGL-GAN と呼ばれるバニラ bf GAN を圧縮するための,新しい単純な bf 識別器 bf 誘導 bf 学習手法を提案する。
• 参考スコア（独自算出の注目度）: 78.66921096464306
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative Adversarial Networks (GANs) with high computation costs, e.g., BigGAN and StyleGAN2, have achieved remarkable results in synthesizing high resolution and diverse images with high fidelity from random noises. Reducing the computation cost of GANs while keeping generating photo-realistic images is an urgent and challenging field for their broad applications on computational resource-limited devices. In this work, we propose a novel yet simple {\bf D}iscriminator {\bf G}uided {\bf L}earning approach for compressing vanilla {\bf GAN}, dubbed {\bf DGL-GAN}. Motivated by the phenomenon that the teacher discriminator may contain some meaningful information, we transfer the knowledge merely from the teacher discriminator via the adversarial function. We show DGL-GAN is valid since empirically, learning from the teacher discriminator could facilitate the performance of student GANs, verified by extensive experimental findings. Furthermore, we propose a two-stage training strategy for training DGL-GAN, which can largely stabilize its training process and achieve superior performance when we apply DGL-GAN to compress the two most representative large-scale vanilla GANs, i.e., StyleGAN2 and BigGAN. Experiments show that DGL-GAN achieves state-of-the-art (SOTA) results on both StyleGAN2 (FID 2.92 on FFHQ with nearly $1/3$ parameters of StyleGAN2) and BigGAN (IS 93.29 and FID 9.92 on ImageNet with nearly $1/4$ parameters of BigGAN) and also outperforms several existing vanilla GAN compression techniques. Moreover, DGL-GAN is also effective in boosting the performance of original uncompressed GANs, original uncompressed StyleGAN2 boosted with DGL-GAN achieves FID 2.65 on FFHQ, which achieves a new state-of-the-art performance. Code and models are available at \url{https://github.com/yuesongtian/DGL-GAN}.
• Abstract（参考訳）: 計算コストの高いGAN(Generative Adversarial Networks)、例えばBigGANやStyleGAN2は、ランダムノイズから高解像度および多彩な画像の合成において顕著な成果を上げている。 フォトリアリスティック画像の生成を維持しながら、GANの計算コストを削減することは、計算資源に制限のあるデバイスに広く応用する上で、緊急かつ困難な分野である。 本研究では,バニラGANを圧縮する手法として,単純だが簡単な"bf D}iscriminator {\bf G}uided {\bf L}earning"を提案する。 教師判別者が有意義な情報を含むかもしれない現象に動機づけられ、我々はその知識を教師判別者からのみ、敵関数を介して伝達する。 dgl-ganの有効性は,教師の判別者からの学習が学生のgansのパフォーマンスを促進できるため,広範な実験結果により検証された。 さらに、DGL-GANを2つの代表的な大規模バニラGAN(StyleGAN2とBigGAN)を圧縮する際、DGL-GANのトレーニングプロセスを大幅に安定させ、優れた性能を達成するための2段階のトレーニング戦略を提案する。 実験の結果、DGL-GANはStyleGAN2(FFHQではFID 2.92、StyleGAN2では1/3$パラメータ)とBigGAN(画像NetではIS 93.29とFID 9.92、BigGANでは1/4$パラメータ)の両方で最先端のSOTA(State-of-the-art)を達成し、既存のバニラGAN圧縮技術よりも優れていた。 さらに、DGL-GANはオリジナルの非圧縮型GANの性能向上にも有効であり、DGL-GANで強化されたオリジナルのStyleGAN2はFFHQでFID 2.65を達成する。 コードとモデルは \url{https://github.com/yuesongtian/dgl-gan} で利用可能である。

関連論文リスト

• GLeaD: Improving GANs with A Generator-Leading Task [44.14659523033865]
  ジェネレータ(G)とディスクリミネータ(D)の2プレーヤゲームとしてGAN(Generative Adversarial Network)を定式化する 本稿では,G が D にタスクを割り当てる新たなパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-12-07T16:25:19Z)
• Distilling Representations from GAN Generator via Squeeze and Span [55.76208869775715]
  本稿では,GANジェネレータから知識を抽出し,その表現を抽出する手法を提案する。 我々は,合成ドメインの蒸留された表現を実領域に分散し,実際のトレーニングデータを用いてGANのモード崩壊を緩和する。
  論文  参考訳（メタデータ） (2022-11-06T01:10:28Z)
• Rebooting ACGAN: Auxiliary Classifier GANs with Stable Training [45.70113212633225]
  条件付き生成逆数ネットワーク(cGAN)は、クラス情報をGANに組み込んで現実的な画像を生成する。 最も一般的なcGANの1つは、ソフトマックスクロスエントロピー損失(ACGAN)を持つ補助分類器GANである。 ACGANはまた、多様性の欠如により容易に分類できるサンプルを生成する傾向がある。
  論文  参考訳（メタデータ） (2021-11-01T17:51:33Z)
• Online Multi-Granularity Distillation for GAN Compression [17.114017187236836]
  GAN(Generative Adversarial Networks)は、優れた画像の獲得に成功している。 GANは、計算コストの最小化とメモリ使用の急激さにより、リソースに制約のあるデバイスにデプロイするのは難しい。 本稿では, 軽量なGANを得るために, オンライン多粒度蒸留方式を提案する。
  論文  参考訳（メタデータ） (2021-08-16T05:49:50Z)
• GMM-Based Generative Adversarial Encoder Learning [39.57350884615545]
  GANのジェネレーション機能とエンコーダを組み合わせたシンプルなアーキテクチャのセットアップを紹介します。 GMMを介してエンコーダ潜時空間の出力をモデル化し、この潜時空間を用いた良好なクラスタリングとGANによる画像生成の改善の両方をもたらす。
  論文  参考訳（メタデータ） (2020-12-08T16:12:16Z)
• Learning Efficient GANs for Image Translation via Differentiable Masks and co-Attention Distillation [130.30465659190773]
  Generative Adversarial Networks (GAN) は画像翻訳において広く利用されているが、その高い計算とストレージコストがモバイルデバイスへの展開を妨げる。 DMADと呼ばれる新しいGAN圧縮手法を提案する。 実験の結果、DMADはCycleGANのMultiply Accumulate Operations (MAC)を13倍、Pix2Pixを4倍削減し、フルモデルに匹敵する性能を維持することができた。
  論文  参考訳（メタデータ） (2020-11-17T02:39:19Z)
• TinyGAN: Distilling BigGAN for Conditional Image Generation [2.8072597424460466]
  BigGANはImageNetの画像生成の質を大幅に改善しましたが、巨大なモデルが必要で、リソースに制約のあるデバイスへのデプロイが困難になります。 本稿では,GANを圧縮するためのブラックボックス知識蒸留フレームワークを提案する。 教師ネットワークとしてBigGANを前提として、私たちは、インセプションとFIDスコアの競合的なパフォーマンスを達成するために、はるかに小さな学生ネットワークをトレーニングしました。
  論文  参考訳（メタデータ） (2020-09-29T07:33:49Z)
• AutoGAN-Distiller: Searching to Compress Generative Adversarial Networks [98.71508718214935]
  既存のGAN圧縮アルゴリズムは、特定のGANアーキテクチャの処理と損失に限られている。 近年の深部圧縮におけるAutoMLの成功に触発されて,GAN圧縮にAutoMLを導入し,AutoGAN-Distillerフレームワークを開発した。 我々はAGDを画像翻訳と超解像の2つの代表的なGANタスクで評価する。
  論文  参考訳（メタデータ） (2020-06-15T07:56:24Z)
• Freeze the Discriminator: a Simple Baseline for Fine-Tuning GANs [104.85633684716296]
  判別器の冷凍下層を有するGANの簡易微調整が驚くほど良好であることを示す。 この単純なベースラインであるFreezeDは、非条件GANと条件GANの両方で使用されている従来の技術よりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-02-25T15:30:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。