論文の概要: Making Method of Moments Great Again? -- How can GANs learn distributions

• arxiv url: http://arxiv.org/abs/2003.04033v3
• Date: Wed, 17 Feb 2021 20:56:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 08:08:36.592484
• Title: Making Method of Moments Great Again? -- How can GANs learn distributions
• Title（参考訳）: モーメントの方法が 素晴らしいのか? --GANはどのように分布を学習できるか
• Authors: Yuanzhi Li, Zehao Dou
• Abstract要約: Generative Adrial Networks (GAN) は、複雑な現実世界の分布を学習するために広く使われているモデルである。 GANでは、ジェネレータの訓練は、判別器がもはやジェネレータの出力とトレーニングの一連の例を区別できない場合、通常停止する。 我々は,このジェネレータ・ディスクリミネーター・トレーニングプロセスを理解するための理論的結果を確立する。
• 参考スコア（独自算出の注目度）: 34.91089650516183
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative Adversarial Networks (GANs) are widely used models to learn complex real-world distributions. In GANs, the training of the generator usually stops when the discriminator can no longer distinguish the generator's output from the set of training examples. A central question of GANs is that when the training stops, whether the generated distribution is actually close to the target distribution, and how the training process reaches to such configurations efficiently? In this paper, we established a theoretical results towards understanding this generator-discriminator training process. We empirically observe that during the earlier stage of the GANs training, the discriminator is trying to force the generator to match the low degree moments between the generator's output and the target distribution. Moreover, only by matching these empirical moments over polynomially many training examples, we prove that the generator can already learn notable class of distributions, including those that can be generated by two-layer neural networks.
• Abstract（参考訳）: generative adversarial network (gans) は複雑な実世界の分布を学ぶために広く使われているモデルである。 GANでは、ジェネレータのトレーニングが停止するのは、判別器がジェネレータの出力とトレーニングの一連の例を区別できない場合である。 gansの中心的な疑問は、トレーニングが終了すると、生成したディストリビューションが実際にターゲットディストリビューションに近いかどうか、トレーニングプロセスがそのような構成に効率的に到達する方法についてである。 本稿では,この生成・判別訓練過程を理解するための理論的結果について述べる。 我々は, GANS訓練の初期段階において, 判別器が発電機の出力と目標分布との間の低次モーメントを一致させようとしていることを実証的に観察した。 さらに、これらの経験的モーメントを多項式的に多くのトレーニング例に合わせるだけで、2層ニューラルネットワークで生成できるものを含む顕著な分布のクラスを学習できることが証明できる。

関連論文リスト

• Improving Out-of-Distribution Robustness of Classifiers via Generative Interpolation [56.620403243640396]
  ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。 しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。 多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
  論文  参考訳（メタデータ） (2023-07-23T03:53:53Z)
• Effective Dynamics of Generative Adversarial Networks [16.51305515824504]
  GAN(Generative Adversarial Network)は、新しいサンプルを生成するために対人訓練を使用する機械学習モデルのクラスである。 モード崩壊と呼ばれるトレーニング失敗の1つの主要な形態は、ジェネレータがターゲット確率分布におけるモードの完全な多様性を再現できないことである。 本稿では,ジェネレータニューラルネットワークを出力空間内の粒子の集合に置き換えることで,学習ダイナミクスを捕捉するGANトレーニングの効果的なモデルを提案する。
  論文  参考訳（メタデータ） (2022-12-08T22:04:01Z)
• On some theoretical limitations of Generative Adversarial Networks [77.34726150561087]
  GANが任意の確率分布を生成できるという一般的な仮定である。 GANが重み付き分布を生成できないことを示すExtreme Value Theoryに基づく新しい結果を提供する。
  論文  参考訳（メタデータ） (2021-10-21T06:10:38Z)
• MG-GAN: A Multi-Generator Model Preventing Out-of-Distribution Samples in Pedestrian Trajectory Prediction [0.6445605125467573]
  歩行者軌道予測のためのマルチジェネレータモデルを提案する。 各ジェネレータは、シーン内の主要なモードの1つにルーティングする軌跡上の分布を学習する。 第2のネットワークは、これらのジェネレータ上のカテゴリ分布を動的およびシーン入力に基づいて学習する。 このアーキテクチャにより、特殊なジェネレータから効果的にサンプルを採取し、単一ジェネレータ法と比較して配布外サンプルを著しく削減できる。
  論文  参考訳（メタデータ） (2021-08-20T17:10:39Z)
• Self-supervised GANs with Label Augmentation [43.78253518292111]
  本稿では,ラベルの強化,すなわち,自己教師付き擬似ラベルによるGANラベル(実物または偽物)の増大を図った,新たな自己教師型GANフレームワークを提案する。 提案手法は,生成モデルと表現学習の両面において,競争ベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2021-06-16T07:58:00Z)
• Forward Super-Resolution: How Can GANs Learn Hierarchical Generative Models for Real-World Distributions [66.05472746340142]
  生成ネットワーク(GAN)は、複雑で現実世界の分布を学習する上で最も成功したネットワークの一つである。 本稿では,GANが実写画像の分布を効率的に学習する方法について述べる。
  論文  参考訳（メタデータ） (2021-06-04T17:33:29Z)
• Training Generative Adversarial Networks in One Stage [58.983325666852856]
  本稿では,1段階のみに効率よくGANを訓練できる汎用的なトレーニング手法を提案する。 提案手法は,データフリーな知識蒸留など,他の逆学習シナリオにも容易に適用可能であることを示す。
  論文  参考訳（メタデータ） (2021-02-28T09:03:39Z)
• The Hidden Tasks of Generative Adversarial Networks: An Alternative Perspective on GAN Training [1.964574177805823]
  我々は、GAN(Generative Adversarial Network)のトレーニングに関する代替的視点を示す。 GANジェネレータのトレーニングステップが2つの暗黙のサブプロブレムに分解されることを示す。 本研究は,本研究の主な理論的成果を実験的に検証し,代替トレーニング手法の意義について考察する。
  論文  参考訳（メタデータ） (2021-01-28T08:17:29Z)
• Mode Penalty Generative Adversarial Network with adapted Auto-encoder [0.15229257192293197]
  本稿では,事前学習した自動エンコーダと組み合わされたモードペナルティGANを提案する。 提案手法をGANに適用することにより, ジェネレータの最適化がより安定し, 実験による収束が早くなることを示す。
  論文  参考訳（メタデータ） (2020-11-16T03:39:53Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。