Fugu-MT 論文翻訳(概要): SDE approximations of GANs training and its long-run behavior

論文の概要: SDE approximations of GANs training and its long-run behavior

arxiv url: http://arxiv.org/abs/2006.02047v5
Date: Sat, 12 Feb 2022 17:17:54 GMT
ステータス: 処理完了
システム内更新日: 2022-11-25 17:35:06.674230
Title: SDE approximations of GANs training and its long-run behavior
Title（参考訳）: GANs訓練のSDE近似とその長期的挙動
Authors: Haoyang Cao and Xin Guo
Abstract要約: まず、勾配アルゴリズムの下でのGANのトレーニングのためのSDE近似を確立する。次に、適切な条件下でのSDE近似の不変性を通じて、GANsトレーニングの長期的挙動を記述する。
参考スコア（独自算出の注目度）: 5.352630651388906
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper analyzes the training process of GANs via stochastic differential equations (SDEs). It first establishes SDE approximations for the training of GANs under stochastic gradient algorithms, with precise error bound analysis. It then describes the long-run behavior of GANs training via the invariant measures of its SDE approximations under proper conditions. This work builds theoretical foundation for GANs training and provides analytical tools to study its evolution and stability.
Abstract（参考訳）: 本稿では,確率微分方程式(SDE)を用いてGANの学習過程を分析する。まず、確率勾配アルゴリズムに基づくGANのトレーニングのためのSDE近似を確立し、正確な誤差境界解析を行う。次に、適切な条件下でのSDE近似の不変測度を通じて、GANsトレーニングの長期的挙動を説明する。この研究はgansトレーニングの理論的基礎を構築し、その進化と安定性を研究する分析ツールを提供する。

関連論文リスト

Deep Equilibrium Based Neural Operators for Steady-State PDEs [100.88355782126098]
定常PDEに対する重み付けニューラルネットワークアーキテクチャの利点について検討する。定常PDEの解を直接解くFNOアーキテクチャの深い平衡変種であるFNO-DEQを提案する。
論文参考訳（メタデータ） (2023-11-30T22:34:57Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Learning differentiable solvers for systems with hard constraints [48.54197776363251]
ニューラルネットワーク(NN)によって定義される関数に対する偏微分方程式(PDE)制約を強制する実践的手法を提案する。我々は、任意のNNアーキテクチャに組み込むことができる微分可能なPDE制約層を開発した。その結果、NNアーキテクチャに直接ハード制約を組み込むことで、制約のない目的のトレーニングに比べてテストエラーがはるかに少ないことがわかった。
論文参考訳（メタデータ） (2022-07-18T15:11:43Z)
Robust SDE-Based Variational Formulations for Solving Linear PDEs via Deep Learning [6.1678491628787455]
モンテカルロ法とディープラーニングを組み合わせることで、高次元の偏微分方程式(PDE)を解くアルゴリズムが効率的になった。関連する学習問題は、しばしば関連する微分方程式(SDE)に基づく変分定式化として記述される。したがって、収束を正確にかつ迅速に到達するためには、低分散を示す適切な勾配推定器に頼ることが重要である。
論文参考訳（メタデータ） (2022-06-21T17:59:39Z)
On the SDEs and Scaling Rules for Adaptive Gradient Algorithms [45.007261870784475]
微分方程式(SDE)としての勾配 Descent (SGD) の適用により、研究者は連続的な最適化軌道の研究の利点を享受できるようになった。本稿では、RMSpropとAdamのSDE近似を導出し、理論上の正確性を保証するとともに、それらの適用性を検証する。
論文参考訳（メタデータ） (2022-05-20T16:39:03Z)
Continuous-time stochastic gradient descent for optimizing over the stationary distribution of stochastic differential equations [7.65995376636176]
定常分布の微分方程式(SDE)モデルを最適化するための新しい連続時間勾配降下法を開発した。線形SDEモデルに対するオンライン前方伝播アルゴリズムの収束性を厳密に証明し、非線形例に対する数値結果を示す。
論文参考訳（メタデータ） (2022-02-14T11:45:22Z)
DiffNet: Neural Field Solutions of Parametric Partial Differential Equations [30.80582606420882]
我々は、ニューラルネットワークをトレーニングし、PDEに対するソリューションのフィールド予測を生成するメッシュベースのアプローチを検討する。パラメトリック楕円PDE上の有限要素法(FEM)に基づく重み付きガレルキン損失関数を用いる。 PDE に対する有限要素解に展開されたメッシュ収束解析に類似した,理論的に検証し,実験により考察する。
論文参考訳（メタデータ） (2021-10-04T17:59:18Z)
Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
論文参考訳（メタデータ） (2020-10-28T15:23:49Z)
Convergence rates and approximation results for SGD and its continuous-time counterpart [16.70533901524849]
本稿では,非増加ステップサイズを有する凸勾配Descent (SGD) の完全理論的解析を提案する。まず、結合を用いた不均一微分方程式(SDE)の解により、SGDを確実に近似できることを示す。連続的手法による決定論的および最適化手法の最近の分析において, 連続過程の長期的挙動と非漸近的境界について検討する。
論文参考訳（メタデータ） (2020-04-08T18:31:34Z)
Stochastic Normalizing Flows [52.92110730286403]
微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
論文参考訳（メタデータ） (2020-02-21T20:47:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。