Fugu-MT 論文翻訳(概要): Dynamics of Fourier Modes in Torus Generative Adversarial Networks

論文の概要: Dynamics of Fourier Modes in Torus Generative Adversarial Networks

arxiv url: http://arxiv.org/abs/2209.01842v1
Date: Mon, 5 Sep 2022 09:03:22 GMT
ステータス: 処理完了
システム内更新日: 2022-09-07 13:14:40.591924
Title: Dynamics of Fourier Modes in Torus Generative Adversarial Networks
Title（参考訳）: トーラス生成対向ネットワークにおけるフーリエモードのダイナミクス
Authors: \'Angel Gonz\'alez-Prieto, Alberto Mozo, Edgar Talavera and Sandra G\'omez-Canaval
Abstract要約: GAN(Generative Adversarial Networks)は、所望の事象の完全な合成サンプルを高解像度で生成できる強力な機械学習モデルである。彼らの成功にもかかわらず、GANのトレーニングプロセスは非常に不安定であり、典型的には、モデルの許容できる収束に達するために、ネットワークにいくつかのアクセサリー摂動を実装する必要がある。本稿では,ジェネレーティブ・アドバイサル・ネットワークのトレーニングにおける収束と安定性を解析するための新しい手法を提案する。
参考スコア（独自算出の注目度）: 0.8189696720657245
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Generative Adversarial Networks (GANs) are powerful Machine Learning models capable of generating fully synthetic samples of a desired phenomenon with a high resolution. Despite their success, the training process of a GAN is highly unstable and typically it is necessary to implement several accessory heuristics to the networks to reach an acceptable convergence of the model. In this paper, we introduce a novel method to analyze the convergence and stability in the training of Generative Adversarial Networks. For this purpose, we propose to decompose the objective function of the adversary min-max game defining a periodic GAN into its Fourier series. By studying the dynamics of the truncated Fourier series for the continuous Alternating Gradient Descend algorithm, we are able to approximate the real flow and to identify the main features of the convergence of the GAN. This approach is confirmed empirically by studying the training flow in a $2$-parametric GAN aiming to generate an unknown exponential distribution. As byproduct, we show that convergent orbits in GANs are small perturbations of periodic orbits so the Nash equillibria are spiral attractors. This theoretically justifies the slow and unstable training observed in GANs.
Abstract（参考訳）: GAN(Generative Adversarial Networks)は、所望の事象の完全な合成サンプルを高解像度で生成できる強力な機械学習モデルである。その成功にもかかわらず、ganの訓練プロセスは非常に不安定であり、典型的にはモデルが受け入れられる収束に達するためには、ネットワークにいくつかの付属のヒューリスティックを実装する必要がある。本稿では,生成型adversarial networkの学習における収束と安定性を分析する新しい手法を提案する。そこで本研究では,周期的なGANをFourier級数に定義した敵のmin-maxゲームの目的関数を分解することを提案する。連続交互勾配降下アルゴリズムのための断続フーリエ級数のダイナミクスを研究することにより,実流れを近似し,ganの収束の主な特徴を同定することができる。このアプローチは、未知の指数分布を生成するために2ドルのパラメトリックganでトレーニングフローを研究することによって実証的に確認される。副生成物として、GANの収束軌道は周期軌道の小さな摂動であり、ナッシュ平衡はスパイラル引力であることを示す。これは理論上、GANで観測される遅く不安定な訓練を正当化する。

関連論文リスト

On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks [56.78271181959529]
Kolmogorov--Arnold Networks (KAN) はディープラーニングコミュニティで注目されている。実験により、勾配降下(SGD)により最適化されたカンが、ほぼゼロに近い訓練損失を達成できることが示された。
論文参考訳（メタデータ） (2024-10-10T15:34:10Z)
FAN: Fourier Analysis Networks [47.08787684221114]
本稿では、周期現象を効率的にモデル化し、推論する能力を高めるFANを提案する。本研究では, 周期関数のモデル化と推論におけるFANの有効性と, 実世界のタスクにおけるFANの優位性と一般化性を示す。
論文参考訳（メタデータ） (2024-10-03T17:02:21Z)
Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文参考訳（メタデータ） (2024-03-11T09:10:37Z)
Accurate generation of stochastic dynamics based on multi-model Generative Adversarial Networks [0.0]
GAN(Generative Adversarial Networks)は、テキストや画像生成などの分野において大きな可能性を秘めている。ここでは、格子上の原型過程に適用することにより、このアプローチを定量的に検証する。重要なことに、ノイズにもかかわらずモデルの離散性は維持される。
論文参考訳（メタデータ） (2023-05-25T10:41:02Z)
Local Convergence of Gradient Descent-Ascent for Training Generative Adversarial Networks [20.362912591032636]
本稿では,GANをカーネルベース判別器で訓練するための勾配降下度(GDA)の局所的ダイナミクスについて検討する。システムがいつ収束するか、振動するか、あるいは分岐するかを示す相転移を示す。
論文参考訳（メタデータ） (2023-05-14T23:23:08Z)
Effective Dynamics of Generative Adversarial Networks [16.51305515824504]
GAN(Generative Adversarial Network)は、新しいサンプルを生成するために対人訓練を使用する機械学習モデルのクラスである。モード崩壊と呼ばれるトレーニング失敗の1つの主要な形態は、ジェネレータがターゲット確率分布におけるモードの完全な多様性を再現できないことである。本稿では,ジェネレータニューラルネットワークを出力空間内の粒子の集合に置き換えることで,学習ダイナミクスを捕捉するGANトレーニングの効果的なモデルを提案する。
論文参考訳（メタデータ） (2022-12-08T22:04:01Z)
Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文参考訳（メタデータ） (2022-06-29T19:03:10Z)
Forward Super-Resolution: How Can GANs Learn Hierarchical Generative Models for Real-World Distributions [66.05472746340142]
生成ネットワーク(GAN)は、複雑で現実世界の分布を学習する上で最も成功したネットワークの一つである。本稿では,GANが実写画像の分布を効率的に学習する方法について述べる。
論文参考訳（メタデータ） (2021-06-04T17:33:29Z)
Convergence dynamics of Generative Adversarial Networks: the dual metric flows [0.0]
機械学習におけるGenerative Adversarial Networksの収束性について検討する。学習速度の制限について検討し,単一ネットワーク学習と同様にgan学習ダイナミクスはある程度の限界ダイナミクスまで消失する傾向があることを示した。
論文参考訳（メタデータ） (2020-12-18T18:00:12Z)
Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
論文参考訳（メタデータ） (2020-10-28T15:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。