論文の概要: Convex Analysis of the Mean Field Langevin Dynamics
- arxiv url: http://arxiv.org/abs/2201.10469v1
- Date: Tue, 25 Jan 2022 17:13:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-26 14:59:34.486523
- Title: Convex Analysis of the Mean Field Langevin Dynamics
- Title（参考訳）: 平均場ランジュバンダイナミクスの凸解析
- Authors: Atsushi Nitanda, Denny Wu, Taiji Suzuki
- Abstract要約: 平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
- 参考スコア（独自算出の注目度）: 49.66486092259375
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As an example of the nonlinear Fokker-Planck equation, the mean field
Langevin dynamics attracts attention due to its connection to (noisy) gradient
descent on infinitely wide neural networks in the mean field regime, and hence
the convergence property of the dynamics is of great theoretical interest. In
this work, we give a simple and self-contained convergence rate analysis of the
mean field Langevin dynamics with respect to the (regularized) objective
function in both continuous and discrete time settings. The key ingredient of
our proof is a proximal Gibbs distribution $p_q$ associated with the dynamics,
which, in combination of techniques in [Vempala and Wibisono (2019)], allows us
to develop a convergence theory parallel to classical results in convex
optimization. Furthermore, we reveal that $p_q$ connects to the duality gap in
the empirical risk minimization setting, which enables efficient empirical
evaluation of the algorithm convergence.
- Abstract（参考訳）: 非線形フォッカー・プランク方程式の例として、平均場ランゲバンダイナミクスは、平均場レジームにおける無限大ニューラルネットワーク上の(ノイズの)勾配降下と関連し、従って、力学の収束特性は理論上非常に興味深い。
本研究では,連続時間と離散時間の両方における(正規化された)目的関数に対する平均場ランジュバンダイナミクスの単純かつ自己完結した収束率解析を行う。
証明の鍵となる要素は、[Vempala and Wibisono (2019)] の技法と組み合わせて、古典的な結果と平行な収束理論を凸最適化で発展させることができる、力学に付随する近似ギブス分布 $p_q$ である。
さらに,$p_q$を経験的リスク最小化設定の双対性ギャップと結びつけることで,アルゴリズム収束の効率的な経験的評価を可能にすることを明らかにした。
関連論文リスト
- Sampling with Adaptive Variance for Multimodal Distributions [14.121491356732188]
本研究では,有界領域に対する分布サンプリングアルゴリズムのクラスを提案し,解析する。
そこで,ギブズポテンシャルに関する情報を使わずに,導関数のないバージョンをサンプリングに利用できることを示す。
論文 参考訳（メタデータ） (2024-11-20T22:05:47Z) - Quantum space-time Poincaré inequality for Lindblad dynamics [15.031583573428481]
非可換な$L2$-ノルムの収束に対して、明示的で建設的な指数的減衰推定を導出する。
我々の分析は、時空ポアンカーの不等式の量子アナログを確立することに依存している。
理論的結果の応用例として, 具体例をいくつか挙げる。
論文 参考訳（メタデータ） (2024-06-13T13:43:41Z) - Taming the Interacting Particle Langevin Algorithm -- the superlinear case [0.0]
我々は、この非線型性の下で、タグ付き相互作用粒子ランゲヴィンアルゴリズム(tIPLA)と呼ばれる新しい安定なクラスを開発する。
We obtain non-asymptotic convergence error estimates in Wasserstein-2 distance for the new class under an optimal rate。
論文 参考訳（メタデータ） (2024-03-28T17:11:25Z) - Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳（メタデータ） (2024-03-11T09:10:37Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳（メタデータ） (2023-12-02T13:01:29Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Convergence of mean-field Langevin dynamics: Time and space
discretization, stochastic gradient, and variance reduction [49.66486092259376]
平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。
近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。
有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
論文 参考訳（メタデータ） (2023-06-12T16:28:11Z) - Can Decentralized Stochastic Minimax Optimization Algorithms Converge
Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。
本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-04-24T02:19:39Z) - Primal and Dual Analysis of Entropic Fictitious Play for Finite-sum
Problems [42.375903320536715]
エントロピック・フィクション・プレイ(英語: Entropic fictitious Play, EFP)は、測度空間における凸関数とエントロピーの和を最小化するアルゴリズムである。
学習問題が有限サム構造を示すような環境では、EFPの簡潔な原始双対解析を行う。
論文 参考訳（メタデータ） (2023-03-06T08:05:08Z) - Structured Optimal Variational Inference for Dynamic Latent Space Models [16.531262817315696]
動的ネットワークの潜在空間モデルについて検討し、その目的は、ペアの内積と潜在位置のインターセプトを推定することである。
後部推論と計算スケーラビリティのバランスをとるために、構造的平均場変動推論フレームワークを検討する。
論文 参考訳（メタデータ） (2022-09-29T22:10:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。