論文の概要: Conservative SPDEs as fluctuating mean field limits of stochastic gradient descent

• arxiv url: http://arxiv.org/abs/2207.05705v1
• Date: Tue, 12 Jul 2022 17:27:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-13 13:59:04.908860
• Title: Conservative SPDEs as fluctuating mean field limits of stochastic gradient descent
• Title（参考訳）: 確率勾配勾配の変動平均場限界としての保守的SPDE
• Authors: Benjamin Gess, Rishabh S. Gvalani, Vitalii Konarovskyi
• Abstract要約: 制限SPDEにおけるゆらぎの包含は収束率を向上し、連続極限における降下のゆらぎに関する情報を保持することが示されている。
• 参考スコア（独自算出の注目度）: 1.2031796234206138
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The convergence of stochastic interacting particle systems in the mean-field limit to solutions to conservative stochastic partial differential equations is shown, with optimal rate of convergence. As a second main result, a quantitative central limit theorem for such SPDEs is derived, again with optimal rate of convergence. The results apply in particular to the convergence in the mean-field scaling of stochastic gradient descent dynamics in overparametrized, shallow neural networks to solutions to SPDEs. It is shown that the inclusion of fluctuations in the limiting SPDE improves the rate of convergence, and retains information about the fluctuations of stochastic gradient descent in the continuum limit.
• Abstract（参考訳）: 保存的確率偏微分方程式の解に対する平均場極限における確率的相互作用粒子系の収束は、最適収束率で示される。 第2の主結果として、そのようなspdesに対する定量的中心極限定理が、再び最適な収束率で導かれる。 結果は特にSPDEに対する解に対する過度にパラメータ化された浅層ニューラルネットワークにおける確率勾配勾配ダイナミクスの平均場スケーリングの収束に適用できる。 制限SPDEにおけるゆらぎの包含は収束率を向上し、連続極限における確率勾配勾配のゆらぎに関する情報を保持することが示されている。

関連論文リスト

• Convergence and concentration properties of constant step-size SGD through Markov chains [0.0]
  定常段差勾配勾配(SGD)を用いた滑らかで強凸な目標の最適化について検討する。 緩やかに制御された分散を伴う不偏勾配推定に対して、反復は全変動距離の不変分布に収束することを示す。 全ての結果は無症状であり、その結果はいくつかのアプリケーションを通して議論されている。
  論文  参考訳（メタデータ） (2023-06-20T12:36:28Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Exponential convergence rates for momentum stochastic gradient descent in the overparametrized setting [0.6445605125467574]
  我々は運動量勾配降下スキーム(MSGD)の収束率の有界性を証明する。 摩擦の最適選択を解析し、MSGDプロセスがほぼ確実に局所に収束することを示す。
  論文  参考訳（メタデータ） (2023-02-07T15:59:08Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Convergence of policy gradient for entropy regularized MDPs with neural network approximation in the mean-field regime [0.0]
  無限水平連続状態および行動空間,エントロピー規則化マルコフ決定過程(MDPs)に対する政策勾配のグローバル収束性について検討する。 結果は非線形フォッカー-プランク-コルモゴロフ方程式の慎重な解析に依存する。
  論文  参考訳（メタデータ） (2022-01-18T20:17:16Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• A Dynamical Central Limit Theorem for Shallow Neural Networks [48.66103132697071]
  平均極限の周りのゆらぎは、トレーニングを通して平均正方形に有界であることを証明する。 平均場ダイナミクスがトレーニングデータを補間する尺度に収束すると、最終的にCLTスケーリングにおいて偏差が消えることを示す。
  論文  参考訳（メタデータ） (2020-08-21T18:00:50Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)
• The Convergence Indicator: Improved and completely characterized parameter bounds for actual convergence of Particle Swarm Optimization [68.8204255655161]
  我々は、粒子が最終的に単一点に収束するか、分岐するかを計算するのに使用できる新しい収束指標を導入する。 この収束指標を用いて、収束群につながるパラメータ領域を完全に特徴づける実際の境界を提供する。
  論文  参考訳（メタデータ） (2020-06-06T19:08:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。