論文の概要: Improved Particle Approximation Error for Mean Field Neural Networks
- arxiv url: http://arxiv.org/abs/2405.15767v3
- Date: Wed, 30 Oct 2024 14:24:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-31 14:24:57.594669
- Title: Improved Particle Approximation Error for Mean Field Neural Networks
- Title（参考訳）: 平均場ニューラルネットワークにおける粒子近似誤差の改善
- Authors: Atsushi Nitanda,
- Abstract要約: MFLD(Mean-field Langevin dynamics)は、確率分布の空間上で定義されるエントロピー規則化された非線形凸関数を最小化する。
最近の研究は、MFLDにおけるカオスの時間的一様伝播を実証している。
粒子近似誤差における対数的ソボレフ不等式(LSI)定数の依存性を改善する。
- 参考スコア（独自算出の注目度）: 9.817855108627452
- License:
- Abstract: Mean-field Langevin dynamics (MFLD) minimizes an entropy-regularized nonlinear convex functional defined over the space of probability distributions. MFLD has gained attention due to its connection with noisy gradient descent for mean-field two-layer neural networks. Unlike standard Langevin dynamics, the nonlinearity of the objective functional induces particle interactions, necessitating multiple particles to approximate the dynamics in a finite-particle setting. Recent works (Chen et al., 2022; Suzuki et al., 2023b) have demonstrated the uniform-in-time propagation of chaos for MFLD, showing that the gap between the particle system and its mean-field limit uniformly shrinks over time as the number of particles increases. In this work, we improve the dependence on logarithmic Sobolev inequality (LSI) constants in their particle approximation errors, which can exponentially deteriorate with the regularization coefficient. Specifically, we establish an LSI-constant-free particle approximation error concerning the objective gap by leveraging the problem structure in risk minimization. As the application, we demonstrate improved convergence of MFLD, sampling guarantee for the mean-field stationary distribution, and uniform-in-time Wasserstein propagation of chaos in terms of particle complexity.
- Abstract（参考訳）: MFLD(Mean-field Langevin dynamics)は、確率分布の空間上で定義されるエントロピー規則化された非線形凸関数を最小化する。
MFLDは平均場2層ニューラルネットワークの雑音勾配勾配と接続しているため注目されている。
通常のランゲヴィン力学とは異なり、目的関数の非線形性は粒子の相互作用を誘導し、有限粒子設定における力学を近似するために複数の粒子を必要とする。
最近の研究(Chen et al , 2022; Suzuki et al , 2023b)は、MFLDのカオスの時間内均一伝播を実証し、粒子の数が増加するにつれて粒子系と平均場限界のギャップが時間とともに一様に縮むことを示した。
本研究では粒子近似誤差における対数的ソボレフ不等式(LSI)定数の依存性を改善し,正則化係数で指数関数的に劣化させることができる。
具体的には、リスク最小化における問題構造を活用することにより、目的ギャップに関するLSI-コンスタントフリー粒子近似誤差を確立する。
適用例として,MFLDの収束性の向上,平均場定常分布のサンプリング保証,および粒子の複雑度の観点からのカオスの均一時間Wasserstein伝播を示す。
関連論文リスト
- Propagation of Chaos for Mean-Field Langevin Dynamics and its Application to Model Ensemble [36.19164064733151]
平均場ランゲヴィンダイナミクス (Mean-field Langevin dynamics, MFLD) は、2層ニューラルネットワークにおける雑音勾配勾配の平均場限界を導出した最適化手法である。
最近の研究は、有限粒子による近似誤差が時間的に均一であり、粒子数が増加するにつれて減少することを示している。
本稿では, 粒子近似項から正則化係数への指数的依存を除去する改良されたMFLDのPoC結果を確立する。
論文 参考訳（メタデータ） (2025-02-09T05:58:46Z) - Uniform-in-time weak propagation of chaos for consensus-based optimization [4.533408985664949]
有界探索領域上でのコンセンサスに基づく最適化(CBO)法におけるカオスの均一時間弱伝播について検討する。
我々の研究によると、弱い誤差は時間内に$O(N-1)$一様であり、そこでは$N$は粒子の数を表す。
論文 参考訳（メタデータ） (2025-02-01T22:38:10Z) - On the Convergence of Min-Max Langevin Dynamics and Algorithm [15.132772939268989]
エントロピー正則化を伴うユークリッド空間 $mathbbRd$ 上の確率分布空間におけるゼロサムゲームについて検討する。
平均場 min-max Langevin ダイナミクスに対する指数収束保証を証明し、平衡分布を計算する。
論文 参考訳（メタデータ） (2024-12-29T14:20:23Z) - Entanglement Transition due to particle losses in a monitored fermionic chain [0.0]
量子エンタングルメントジャンプにおけるエントロピースケーリングのダイナミクスについて検討する。
システムパラメータをチューニングすることにより、絡み合いのエントロピーが対数から領域法則に変化する場合、測定誘起遷移が生じることを示す。
論文 参考訳（メタデータ） (2024-08-07T11:30:09Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳（メタデータ） (2023-12-02T13:01:29Z) - Convergence of mean-field Langevin dynamics: Time and space
discretization, stochastic gradient, and variance reduction [49.66486092259376]
平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。
近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。
有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
論文 参考訳（メタデータ） (2023-06-12T16:28:11Z) - Locality of Spontaneous Symmetry Breaking and Universal Spacing
Distribution of Topological Defects Formed Across a Phase Transition [62.997667081978825]
連続相転移は、KZM(Kybble-Zurek mechanism)によって予測される密度を伴う位相欠陥の形成をもたらす。
結果の非平衡状態における点状位相欠陥の空間分布を特徴付けるとともに、任意の空間次元のポアソン点過程をKZM密度でモデル化する。
論文 参考訳（メタデータ） (2022-02-23T19:00:06Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳（メタデータ） (2022-01-25T17:13:56Z) - Quantum correlations, entanglement spectrum and coherence of
two-particle reduced density matrix in the Extended Hubbard Model [62.997667081978825]
半充填時の一次元拡張ハバードモデルの基底状態特性について検討する。
特に超伝導領域では, エンタングルメントスペクトルが支配的な一重項(SS)と三重項(TS)のペアリング順序の遷移を信号する。
論文 参考訳（メタデータ） (2021-10-29T21:02:24Z) - Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。
本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
論文 参考訳（メタデータ） (2020-06-16T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。