論文の概要: A Forward Propagation Algorithm for Online Optimization of Nonlinear Stochastic Differential Equations

• arxiv url: http://arxiv.org/abs/2207.04496v1
• Date: Sun, 10 Jul 2022 16:06:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-12 13:56:23.393307
• Title: A Forward Propagation Algorithm for Online Optimization of Nonlinear Stochastic Differential Equations
• Title（参考訳）: 非線形確率微分方程式のオンライン最適化のための前方伝播アルゴリズム
• Authors: Ziheng Wang and Justin Sirignano
• Abstract要約: 非線形散逸SDEに対する前方伝播アルゴリズムの収束性について検討する。 偏微分方程式(PDE)の解に、最も急降下方向のアルゴリズムのゆらぎの期待時間積分の限界を証明した。 本研究の主な成果は,非線形散逸SDEに対する前方伝播アルゴリズムの収束定理である。
• 参考スコア（独自算出の注目度）: 1.116812194101501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimizing over the stationary distribution of stochastic differential equations (SDEs) is computationally challenging. A new forward propagation algorithm has been recently proposed for the online optimization of SDEs. The algorithm solves an SDE, derived using forward differentiation, which provides a stochastic estimate for the gradient. The algorithm continuously updates the SDE model's parameters and the gradient estimate simultaneously. This paper studies the convergence of the forward propagation algorithm for nonlinear dissipative SDEs. We leverage the ergodicity of this class of nonlinear SDEs to characterize the convergence rate of the transition semi-group and its derivatives. Then, we prove bounds on the solution of a Poisson partial differential equation (PDE) for the expected time integral of the algorithm's stochastic fluctuations around the direction of steepest descent. We then re-write the algorithm using the PDE solution, which allows us to characterize the parameter evolution around the direction of steepest descent. Our main result is a convergence theorem for the forward propagation algorithm for nonlinear dissipative SDEs.
• Abstract（参考訳）: 確率微分方程式(SDE)の定常分布の最適化は計算的に困難である。 SDEのオンライン最適化のための新しい前方伝播アルゴリズムが最近提案されている。 アルゴリズムは前方微分を用いて導出したSDEを解き、勾配の確率的推定を与える。 アルゴリズムはSDEモデルのパラメータと勾配推定を同時に更新する。 本稿では非線形散逸sdesに対する前方伝播アルゴリズムの収束について検討する。 我々は、このタイプの非線形SDEのエルゴード性を利用して、遷移半群とその微分の収束率を特徴づける。 そして、最も急降下方向の確率的ゆらぎの期待時間積分に対するポアソン偏微分方程式(PDE)の解上の有界性を証明した。 次に、PDE解を用いてアルゴリズムを再記述し、最も急降下する方向のパラメータの進化を特徴付ける。 我々の主な成果は非線形散逸SDEに対する前方伝播アルゴリズムの収束定理である。

関連論文リスト

• A Natural Primal-Dual Hybrid Gradient Method for Adversarial Neural Network Training on Solving Partial Differential Equations [9.588717577573684]
  偏微分方程式(PDE)を解くためのスケーラブルな事前条件付き原始ハイブリッド勾配アルゴリズムを提案する。 本稿では,提案手法の性能を,一般的なディープラーニングアルゴリズムと比較する。 その結果,提案手法は効率的かつ堅牢に動作し,安定に収束することが示唆された。
  論文  参考訳（メタデータ） (2024-11-09T20:39:10Z)
• Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
  機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。 非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
  論文  参考訳（メタデータ） (2024-08-20T19:06:02Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• A Deep-Genetic Algorithm (Deep-GA) Approach for High-Dimensional Nonlinear Parabolic Partial Differential Equations [0.0]
  本稿では,Deep-BSDE法の性能向上のために,ディープジェネティックアルゴリズム(deep-GA)と呼ばれる新しい手法を提案する。 初期推定選択に対する解の感度を認識し、遺伝的アルゴリズム(GA)を解法に組み込んで選択を最適化する。 提案手法は計算効率が大幅に向上し, 比較精度が向上することを示す。
  論文  参考訳（メタデータ） (2023-11-20T06:35:23Z)
• Parameter-free projected gradient descent [0.0]
  我々は、射影勾配 Descent (PGD) を用いて、閉凸集合上の凸関数を最小化する問題を考える。 本稿では,AdaGradのパラメータフリーバージョンを提案する。これは初期化と最適化の距離に適応し,下位段階の平方ノルムの和に適応する。 提案アルゴリズムはプロジェクションステップを処理でき、リスタートを伴わず、従来のPGDと比較して軌道に沿ってリウィーディングや追加評価を行うことができる。
  論文  参考訳（メタデータ） (2023-05-31T07:22:44Z)
• Continuous-time stochastic gradient descent for optimizing over the stationary distribution of stochastic differential equations [7.65995376636176]
  定常分布の微分方程式(SDE)モデルを最適化するための新しい連続時間勾配降下法を開発した。 線形SDEモデルに対するオンライン前方伝播アルゴリズムの収束性を厳密に証明し、非線形例に対する数値結果を示す。
  論文  参考訳（メタデータ） (2022-02-14T11:45:22Z)
• Last-Iterate Convergence of Saddle-Point Optimizers via High-Resolution Differential Equations [83.3201889218775]
  広く使われている1次サドル点最適化法は、帰納的導出時に同一の連続時間常微分方程式(ODE)を導出する。 しかし、これらの方法の収束特性は、単純な双線型ゲームでさえ質的に異なる。 いくつかのサドル点最適化法のための微分方程式モデルの設計に流体力学の研究フレームワークを採用する。
  論文  参考訳（メタデータ） (2021-12-27T18:31:34Z)
• Distributed stochastic optimization with large delays [59.95552973784946]
  大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。 DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
  論文  参考訳（メタデータ） (2021-07-06T21:59:49Z)
• Solving and Learning Nonlinear PDEs with Gaussian Processes [11.09729362243947]
  非線形偏微分方程式を解くための単純で厳密で統一された枠組みを提案する。 提案手法は、コロケーションカーネル法を非線形PDEとIPに自然に一般化する。 IP では,PDE におけるパラメータの同定と解の数値近似を反復的に行う手法が提案されているが,アルゴリズムは両手法を同時に扱う。
  論文  参考訳（メタデータ） (2021-03-24T03:16:08Z)
• Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization [73.38702974136102]
  アルゴリズムの高速化のために,パラメータ再起動方式が提案されている。 本論文では,非滑らかな問題を解くアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:06:27Z)
• Stochastic Normalizing Flows [52.92110730286403]
  微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。 粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。 これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
  論文  参考訳（メタデータ） (2020-02-21T20:47:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。