論文の概要: Ultra-Data-Efficient GAN Training: Drawing A Lottery Ticket First, Then Training It Toughly

• arxiv url: http://arxiv.org/abs/2103.00397v1
• Date: Sun, 28 Feb 2021 05:20:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 17:31:41.564919
• Title: Ultra-Data-Efficient GAN Training: Drawing A Lottery Ticket First, Then Training It Toughly
• Title（参考訳）: 超データ効率のGANトレーニング:まず宝くじを描き、次にそれを激しく訓練する
• Authors: Tianlong Chen, Yu Cheng, Zhe Gan, Jingjing Liu, Zhangyang Wang
• Abstract要約: 限られたデータでGAN(generative adversarial network)を訓練すると、一般的に性能が低下し、モデルが崩壊する。 データハングリーGANトレーニングを2つのシーケンシャルサブプロブレムに分解する。 このような協調フレームワークにより、より低い複雑さとよりデータ効率のよいサブ問題に集中することができます。
• 参考スコア（独自算出の注目度）: 114.81028176850404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training generative adversarial networks (GANs) with limited data generally results in deteriorated performance and collapsed models. To conquer this challenge, we are inspired by the latest observation of Kalibhat et al. (2020); Chen et al.(2021d), that one can discover independently trainable and highly sparse subnetworks (a.k.a., lottery tickets) from GANs. Treating this as an inductive prior, we decompose the data-hungry GAN training into two sequential sub-problems: (i) identifying the lottery ticket from the original GAN; then (ii) training the found sparse subnetwork with aggressive data and feature augmentations. Both sub-problems re-use the same small training set of real images. Such a coordinated framework enables us to focus on lower-complexity and more data-efficient sub-problems, effectively stabilizing training and improving convergence. Comprehensive experiments endorse the effectiveness of our proposed ultra-data-efficient training framework, across various GAN architectures (SNGAN, BigGAN, and StyleGAN2) and diverse datasets (CIFAR-10, CIFAR-100, Tiny-ImageNet, and ImageNet). Besides, our training framework also displays powerful few-shot generalization ability, i.e., generating high-fidelity images by training from scratch with just 100 real images, without any pre-training. Codes are available at: https://github.com/VITA-Group/Ultra-Data-Efficient-GAN-Training.
• Abstract（参考訳）: 限られたデータでGAN(generative adversarial network)を訓練すると、一般的に性能が低下し、モデルが崩壊する。 この挑戦を克服するために、我々はKalibhat et alの最新の観察に触発された。 (2020年):チェンら。 (2021d)は、GANから独立して訓練可能で、高度にスパースなサブネットワーク(すなわち宝くじ)を発見できるものである。 これを誘導的前処理として扱い、データハングリーGANトレーニングを2つのシーケンシャルサブプロブレムに分解する: (i) 元のGANから宝くじを識別し、 (ii) 攻撃的なデータと機能拡張で見つかったスパースサブネットワークをトレーニングする。 両方のサブプロブレムは、同じ小さな実画像のトレーニングセットを再利用する。 このような協調フレームワークにより、より低い複雑さとよりデータ効率のよいサブ問題に集中でき、トレーニングを効果的に安定化し、収束性を向上させることができます。 GANアーキテクチャ(SNGAN,BigGAN,StyleGAN2)と多種多様なデータセット(CIFAR-10,CIFAR-100,Tiny-ImageNet,ImageNet)を対象として,提案した超データ効率トレーニングフレームワークの有効性を総合的に検証した。 さらに、私たちのトレーニングフレームワークはまた、強力な数ショット一般化能力、すなわち、事前トレーニングなしで、わずか100の実際の画像でゼロから訓練することによって高忠実度画像を生成する。 コードは以下の通り。 https://github.com/VITA-Group/Ultra-Data-Efficient-GAN-Training。

関連論文リスト

• Improving GAN Training via Feature Space Shrinkage [69.98365478398593]
  本稿では,識別器の画像表現空間におけるトレーニングデータの領域を縮小するAdaptiveMixを提案する。 直接有界な特徴空間を考慮し, ハードサンプルを構築し, ハードサンプルと簡単なサンプル間の特徴距離を狭めることを提案する。 評価結果から,我々のAdaptiveMixはGANの訓練を容易にし,生成したサンプルの画像品質を効果的に向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-03-02T20:22:24Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
  本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。 正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
  論文  参考訳（メタデータ） (2021-04-07T17:59:06Z)
• Scalable Balanced Training of Conditional Generative Adversarial Neural Networks on Image Data [0.0]
  本稿では,DC-CGANモデル(Deep Convolutional Generative Adversarial Neural Network)を学習するための分散アプローチを提案する。 本手法は,データラベルに従ってトレーニングデータを分割することにより,ジェネレータと判別器の不均衡を低減する。 MNIST, CIFAR10, CIFAR100, ImageNet1kデータセットのインセプションスコアと画質について評価する。
  論文  参考訳（メタデータ） (2021-02-21T00:48:19Z)
• Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image Synthesis [21.40315235087551]
  1024*1024解像度で優れた品質を得る軽量GAN構造を提案します。 データとコンピューティングの予算が限られている場合、私たちのモデルが最先端のstylegan2よりも優れたパフォーマンスを示します。
  論文  参考訳（メタデータ） (2021-01-12T22:02:54Z)
• Multiclass non-Adversarial Image Synthesis, with Application to Classification from Very Small Sample [6.243995448840211]
  我々は、新しい非逆生成法 - LA(Clustered Optimization of LAtent space)を提案する。 本手法は,全データレギュレーションにおいて,教師なしの多様なマルチクラス画像を生成することができる。 ラベル付き画像の小さなサンプルのみが、追加のラベル付きデータにアクセスせずにトレーニングできる小データ体制では、同じ量のデータでトレーニングされた最先端のGANモデルを上回る結果が得られる。
  論文  参考訳（メタデータ） (2020-11-25T18:47:27Z)
• Improving the Speed and Quality of GAN by Adversarial Training [87.70013107142142]
  我々は,GAN訓練の高速化と品質向上を目的としたFastGANを開発した。 当社のトレーニングアルゴリズムは,2-4GPUを必要とすることによって,ImageNetのトレーニングを一般向けに提供しています。
  論文  参考訳（メタデータ） (2020-08-07T20:21:31Z)
• Differentiable Augmentation for Data-Efficient GAN Training [48.920992130257595]
  DiffAugmentは,実検体と偽検体の両方に様々な種類の微分可能拡張を付与することにより,GANのデータ効率を向上させる簡易な手法である。 本手法は,既存の移動学習アルゴリズムと同等でありながら,事前学習することなく,100個の画像のみを用いて高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2020-06-18T17:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。