論文の概要: Effective Dynamics of Generative Adversarial Networks
- arxiv url: http://arxiv.org/abs/2212.04580v1
- Date: Thu, 8 Dec 2022 22:04:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-12 14:46:18.412419
- Title: Effective Dynamics of Generative Adversarial Networks
- Title（参考訳）: 生成型adversarial networkの効果的なダイナミクス
- Authors: Steven Durr, Youssef Mroueh, Yuhai Tu, and Shenshen Wang
- Abstract要約: GAN(Generative Adversarial Network)は、新しいサンプルを生成するために対人訓練を使用する機械学習モデルのクラスである。
モード崩壊と呼ばれるトレーニング失敗の1つの主要な形態は、ジェネレータがターゲット確率分布におけるモードの完全な多様性を再現できないことである。
本稿では,ジェネレータニューラルネットワークを出力空間内の粒子の集合に置き換えることで,学習ダイナミクスを捕捉するGANトレーニングの効果的なモデルを提案する。
- 参考スコア（独自算出の注目度）: 16.51305515824504
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative adversarial networks (GANs) are a class of machine-learning models
that use adversarial training to generate new samples with the same
(potentially very complex) statistics as the training samples. One major form
of training failure, known as mode collapse, involves the generator failing to
reproduce the full diversity of modes in the target probability distribution.
Here, we present an effective model of GAN training, which captures the
learning dynamics by replacing the generator neural network with a collection
of particles in the output space; particles are coupled by a universal kernel
valid for certain wide neural networks and high-dimensional inputs. The
generality of our simplified model allows us to study the conditions under
which mode collapse occurs. Indeed, experiments which vary the effective kernel
of the generator reveal a mode collapse transition, the shape of which can be
related to the type of discriminator through the frequency principle. Further,
we find that gradient regularizers of intermediate strengths can optimally
yield convergence through critical damping of the generator dynamics. Our
effective GAN model thus provides an interpretable physical framework for
understanding and improving adversarial training.
- Abstract（参考訳）: GAN(Generative Adversarial Network)は、敵対的トレーニングを用いて、トレーニングサンプルと同じ(潜在的に非常に複雑な)統計を持つ新しいサンプルを生成する機械学習モデルのクラスである。
モード崩壊と呼ばれるトレーニング失敗の1つの主要な形態は、ターゲット確率分布におけるモードの完全な多様性を再現できないジェネレータである。
本稿では、生成ニューラルネットワークを出力空間内の粒子の集合に置き換えることで学習ダイナミクスを捉え、ある広いニューラルネットワークと高次元入力に有効な普遍的なカーネルで粒子を結合する、GANトレーニングの効果的なモデルを提案する。
単純化されたモデルの一般化により、モード崩壊が起こる条件を研究できる。
実際、発電機の有効核を変化させる実験はモード崩壊遷移を示し、その形状は周波数原理によって判別器の種類と関連付けられる。
さらに, 中間強度の勾配正規化器は, 発電機動力学の臨界減衰により最適に収束できることがわかった。
我々の効果的なGANモデルは、敵の訓練を理解し改善するための解釈可能な物理的枠組みを提供する。
関連論文リスト
- Neural Residual Diffusion Models for Deep Scalable Vision Generation [17.931568104324985]
我々は,統一的かつ大規模に拡張可能なニューラルネットワーク残差拡散モデルフレームワーク(Neural-RDM)を提案する。
提案したニューラル残差モデルは、画像およびビデオ生成ベンチマークの最先端スコアを取得する。
論文 参考訳（メタデータ） (2024-06-19T04:57:18Z) - Improving Out-of-Distribution Robustness of Classifiers via Generative
Interpolation [56.620403243640396]
ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。
しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。
多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
論文 参考訳（メタデータ） (2023-07-23T03:53:53Z) - Unifying GANs and Score-Based Diffusion as Generative Particle Models [18.00326775812974]
本稿では,粒子生成モデルと逆生成モデルを統合する新しいフレームワークを提案する。
これは、ジェネレータが任意の生成モデルに追加されることを示唆している。
フレームワークの潜在的な応用の概念の証明として、これらのオリジナルのモデルの有効性を実証的に検証する。
論文 参考訳（メタデータ） (2023-05-25T15:20:10Z) - Accurate generation of stochastic dynamics based on multi-model
Generative Adversarial Networks [0.0]
GAN(Generative Adversarial Networks)は、テキストや画像生成などの分野において大きな可能性を秘めている。
ここでは、格子上の原型過程に適用することにより、このアプローチを定量的に検証する。
重要なことに、ノイズにもかかわらずモデルの離散性は維持される。
論文 参考訳（メタデータ） (2023-05-25T10:41:02Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳（メタデータ） (2023-01-23T15:18:54Z) - Deceive D: Adaptive Pseudo Augmentation for GAN Training with Limited
Data [125.7135706352493]
GAN(Generative Adversarial Network)は、高忠実度画像を合成するために、訓練に十分なデータを必要とする。
近年の研究では、差別者の過度な適合により、限られたデータでGANを訓練することは困難であることが示されている。
本稿では,APA (Adaptive Pseudo Augmentation) と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2021-11-12T18:13:45Z) - Generative Adversarial Network for Probabilistic Forecast of Random
Dynamical System [19.742888499307178]
本研究では,確率力学系のデータ駆動型シミュレーションのための深層学習モデルを提案する。
本稿では,逐次推論問題に対する一貫性条件に基づく生成逆数ネットワークの正規化戦略を提案する。
複雑な雑音構造を持つ3つのプロセスを用いて,提案モデルの挙動について検討した。
論文 参考訳（メタデータ） (2021-11-04T19:50:56Z) - Controllable and Compositional Generation with Latent-Space Energy-Based
Models [60.87740144816278]
制御可能な生成は、現実世界のアプリケーションで深層生成モデルの採用を成功させる上で重要な要件の1つである。
本研究では, エネルギーモデル(EBM)を用いて, 属性の集合上での合成生成を扱う。
エネルギー関数を論理演算子と合成することにより、分解能1024x1024のフォトリアリスティック画像を生成する際に、このような構成性を実現するのはこれが初めてである。
論文 参考訳（メタデータ） (2021-10-21T03:31:45Z) - GANs with Variational Entropy Regularizers: Applications in Mitigating
the Mode-Collapse Issue [95.23775347605923]
深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。
GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。
情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
論文 参考訳（メタデータ） (2020-09-24T19:34:37Z) - DCTRGAN: Improving the Precision of Generative Models with Reweighting [1.2622634782102324]
深部生成モデルにポストホック補正を導入し,その忠実度をさらに向上する。
この補正は、生成された例に適用できる再重み付け関数の形を取る。
重み付き GAN の例は, 統計的パワーに大きな損失を伴わずに, 生成したサンプルの精度を著しく向上することを示した。
論文 参考訳（メタデータ） (2020-09-03T18:00:27Z) - Unsupervised Controllable Generation with Self-Training [90.04287577605723]
GANによる制御可能な世代は依然として困難な研究課題である。
本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。
我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
論文 参考訳（メタデータ） (2020-07-17T21:50:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。