論文の概要: Training Generative Adversarial Networks by Solving Ordinary Differential Equations

• arxiv url: http://arxiv.org/abs/2010.15040v2
• Date: Sat, 28 Nov 2020 16:07:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 04:54:25.161512
• Title: Training Generative Adversarial Networks by Solving Ordinary Differential Equations
• Title（参考訳）: 常微分方程式の解法による生成逆ネットワークの訓練
• Authors: Chongli Qin, Yan Wu, Jost Tobias Springenberg, Andrew Brock, Jeff Donahue, Timothy P. Lillicrap, Pushmeet Kohli
• Abstract要約: GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
• 参考スコア（独自算出の注目度）: 54.23691425062034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The instability of Generative Adversarial Network (GAN) training has frequently been attributed to gradient descent. Consequently, recent methods have aimed to tailor the models and training procedures to stabilise the discrete updates. In contrast, we study the continuous-time dynamics induced by GAN training. Both theory and toy experiments suggest that these dynamics are in fact surprisingly stable. From this perspective, we hypothesise that instabilities in training GANs arise from the integration error in discretising the continuous dynamics. We experimentally verify that well-known ODE solvers (such as Runge-Kutta) can stabilise training - when combined with a regulariser that controls the integration error. Our approach represents a radical departure from previous methods which typically use adaptive optimisation and stabilisation techniques that constrain the functional space (e.g. Spectral Normalisation). Evaluation on CIFAR-10 and ImageNet shows that our method outperforms several strong baselines, demonstrating its efficacy.
• Abstract（参考訳）: GAN(Generative Adversarial Network)トレーニングの不安定性は、勾配降下に起因することが多い。 その結果、近年の手法では、モデルとトレーニング手順を調整し、離散的な更新を安定化することを目的としている。 対照的に、GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 理論とおもちゃの実験の両方から、これらの動力学は驚くほど安定していることが示唆されている。 この観点から,ganの訓練における不安定性は,連続力学の判別における積分誤差から生じると仮定する。 我々は、よく知られたODEソルバ(例えばRunge-Kutta)が、統合エラーを制御する正規化器と組み合わせることで、トレーニングを安定化できることを実験的に検証する。 我々の手法は、通常、関数空間を制約する適応最適化と安定化技術(スペクトル正規化など)を使用する従来の方法とは大きく離れている。 CIFAR-10 と ImageNet による評価の結果,提案手法はいくつかの強いベースラインを上回り,その有効性を示している。

関連論文リスト

• Diffusing States and Matching Scores: A New Framework for Imitation Learning [16.941612670582522]
  敵対的模倣学習は伝統的に、学習者と敵対的に選択されたコスト関数の間の2つのプレイヤーゼロサムゲームとしてフレーム化されている。 近年、拡散モデルはGANの非敵対的な代替品として出現している。 提案手法は, 様々な連続制御問題に対して, GANスタイルの模倣学習ベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:59:25Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Byzantine-Robust Decentralized Stochastic Optimization with Stochastic Gradient Noise-Independent Learning Error [25.15075119957447]
  分散ネットワーク上でのビザンチン-ロバスト最適化について検討し、各エージェントが近隣のエージェントと定期的に通信して局所モデルを交換し、勾配降下(SGD)により独自の局所モデルを更新する。 このような手法の性能は、最適化プロセス中に逆向きに実行される未知数のビザンチンエージェントに影響される。
  論文  参考訳（メタデータ） (2023-08-10T02:14:23Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Controlled Descent Training [0.0]
  最適制御理論により,新しいモデルベースニューラルネットワーク(ANN)トレーニング手法を開発した。 この方法は、トレーニング損失収束を確実に保証し、トレーニング収束率を向上させるために、トレーニングラベルを増強する。 本手法の適用性は, 標準回帰問題と分類問題において実証される。
  論文  参考訳（メタデータ） (2023-03-16T10:45:24Z)
• Stabilizing Machine Learning Prediction of Dynamics: Noise and Noise-inspired Regularization [58.720142291102135]
  近年、機械学習(ML)モデルはカオス力学系の力学を正確に予測するために訓練可能であることが示されている。 緩和技術がなければ、この技術は人工的に迅速にエラーを発生させ、不正確な予測と/または気候不安定をもたらす可能性がある。 トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。
  論文  参考訳（メタデータ） (2022-11-09T23:40:52Z)
• Guaranteed Conservation of Momentum for Learning Particle-based Fluid Dynamics [96.9177297872723]
  本稿では,学習物理シミュレーションにおける線形運動量を保証する新しい手法を提案する。 我々は、強い制約で運動量の保存を強制し、反対称的な連続的な畳み込み層を通して実現する。 提案手法により,学習シミュレータの物理的精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-10-12T09:12:59Z)
• Learning Unstable Dynamics with One Minute of Data: A Differentiation-based Gaussian Process Approach [47.045588297201434]
  ガウス過程の微分可能性を利用して、真の連続力学の状態依存線形化近似を作成する方法を示す。 9次元セグウェイのような不安定なシステムのシステムダイナミクスを反復的に学習することで、アプローチを検証する。
  論文  参考訳（メタデータ） (2021-03-08T05:08:47Z)
• Reintroducing Straight-Through Estimators as Principled Methods for Stochastic Binary Networks [85.94999581306827]
  2重みとアクティベーションを持つニューラルネットワークのトレーニングは、勾配の欠如と離散重みよりも最適化が難しいため、難しい問題である。 多くの実験結果が経験的ストレートスルー(ST)アプローチで達成されている。 同時に、ST法はベルヌーイ重みを持つバイナリネットワーク(SBN)モデルにおける推定子として真に導出することができる。
  論文  参考訳（メタデータ） (2020-06-11T23:58:18Z)
• Stabilizing Training of Generative Adversarial Nets via Langevin Stein Variational Gradient Descent [11.329376606876101]
  我々は,新しい粒子に基づく変分推論(LSVGD)によるGANトレーニングの安定化を提案する。 LSVGDのダイナミクスは暗黙の規則化を持ち、粒子の広がりと多様性を高めることができることを示す。
  論文  参考訳（メタデータ） (2020-04-22T11:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。