論文の概要: Convergence of mean-field Langevin dynamics: Time and space
discretization, stochastic gradient, and variance reduction
- arxiv url: http://arxiv.org/abs/2306.07221v1
- Date: Mon, 12 Jun 2023 16:28:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-13 13:42:04.379719
- Title: Convergence of mean-field Langevin dynamics: Time and space
discretization, stochastic gradient, and variance reduction
- Title（参考訳）: 平均場ランゲヴィン力学の収束:時間と空間の離散化、確率勾配、分散還元
- Authors: Taiji Suzuki and Denny Wu and Atsushi Nitanda
- Abstract要約: 平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。
近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。
有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
- 参考スコア（独自算出の注目度）: 49.66486092259376
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The mean-field Langevin dynamics (MFLD) is a nonlinear generalization of the
Langevin dynamics that incorporates a distribution-dependent drift, and it
naturally arises from the optimization of two-layer neural networks via (noisy)
gradient descent. Recent works have shown that MFLD globally minimizes an
entropy-regularized convex functional in the space of measures. However, all
prior analyses assumed the infinite-particle or continuous-time limit, and
cannot handle stochastic gradient updates. We provide an general framework to
prove a uniform-in-time propagation of chaos for MFLD that takes into account
the errors due to finite-particle approximation, time-discretization, and
stochastic gradient approximation. To demonstrate the wide applicability of
this framework, we establish quantitative convergence rate guarantees to the
regularized global optimal solution under (i) a wide range of learning problems
such as neural network in the mean-field regime and MMD minimization, and (ii)
different gradient estimators including SGD and SVRG. Despite the generality of
our results, we achieve an improved convergence rate in both the SGD and SVRG
settings when specialized to the standard Langevin dynamics.
- Abstract（参考訳）: 平均場ランジュバンダイナミクス(mfld)は分布依存ドリフトを含むランジュバンダイナミクスの非線形一般化であり、(ノイズ)勾配降下による2層ニューラルネットワークの最適化から自然に生じる。
近年の研究では、mfldは測度空間におけるエントロピー正規化凸汎関数をグローバルに最小化することが示されている。
しかし、全ての先行分析は無限粒子または連続時間限界を仮定し、確率的勾配更新を扱えない。
有限粒子近似,時間分散,確率勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を証明するための一般的な枠組みを提供する。
このフレームワークの広範な適用性を示すため、正規化グローバル最適解に対する定量的収束率保証を確立する。
(i)平均場環境におけるニューラルネットワークやmmd最小化といった幅広い学習問題、及び
(ii)sgdおよびsvrgを含む異なる勾配推定器。
結果の一般化にもかかわらず、標準ランゲヴィン力学に特化する場合、SGDおよびSVRG設定の収束率が向上する。
関連論文リスト
- Improved Particle Approximation Error for Mean Field Neural Networks [9.817855108627452]
MFLD(Mean-field Langevin dynamics)は、確率分布の空間上で定義されるエントロピー規則化された非線形凸関数を最小化する。
最近の研究は、MFLDにおけるカオスの時間的一様伝播を実証している。
粒子近似誤差における対数的ソボレフ不等式(LSI)定数の依存性を改善する。
論文 参考訳（メタデータ） (2024-05-24T17:59:06Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳（メタデータ） (2023-12-02T13:01:29Z) - Accelerating Convergence in Global Non-Convex Optimization with
Reversible Diffusion [0.0]
ランゲヴィン・ダイナミクスは、グローバルな非最適化実験で広く用いられている。
提案手法は,速度と離散化誤差のトレードオフについて検討する。
論文 参考訳（メタデータ） (2023-05-19T07:49:40Z) - Stability and Generalization Analysis of Gradient Methods for Shallow
Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。
我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文 参考訳（メタデータ） (2022-09-19T18:48:00Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳（メタデータ） (2022-01-25T17:13:56Z) - Optimal Rates for Averaged Stochastic Gradient Descent under Neural
Tangent Kernel Regime [50.510421854168065]
平均勾配勾配勾配は極小収束率が得られることを示す。
本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
論文 参考訳（メタデータ） (2020-06-22T14:31:37Z) - Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。
本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
論文 参考訳（メタデータ） (2020-06-16T15:07:37Z) - Dynamical mean-field theory for stochastic gradient descent in Gaussian
mixture classification [25.898873960635534]
高次元景観を分類する単一層ニューラルネットワークにおける勾配降下(SGD)の閉学習ダイナミクスを解析する。
連続次元勾配流に拡張可能なプロトタイププロセスを定義する。
フルバッチ限界では、標準勾配流を回復する。
論文 参考訳（メタデータ） (2020-06-10T22:49:41Z) - Non-Convex Optimization via Non-Reversible Stochastic Gradient Langevin
Dynamics [27.097121544378528]
グラディエント・ランゲヴィン・ダイナミクス (Gradient Langevin Dynamics, SGLD) は、非目的勾配を最適化する強力なアルゴリズムである。
NSGLDは非可逆拡散の離散化に基づいている。
論文 参考訳（メタデータ） (2020-04-06T17:11:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。