論文の概要: Improved Particle Approximation Error for Mean Field Neural Networks
- arxiv url: http://arxiv.org/abs/2405.15767v3
- Date: Wed, 30 Oct 2024 14:24:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-31 14:24:57.594669
- Title: Improved Particle Approximation Error for Mean Field Neural Networks
- Title（参考訳）: 平均場ニューラルネットワークにおける粒子近似誤差の改善
- Authors: Atsushi Nitanda,
- Abstract要約: MFLD(Mean-field Langevin dynamics)は、確率分布の空間上で定義されるエントロピー規則化された非線形凸関数を最小化する。
最近の研究は、MFLDにおけるカオスの時間的一様伝播を実証している。
粒子近似誤差における対数的ソボレフ不等式(LSI)定数の依存性を改善する。
- 参考スコア（独自算出の注目度）: 9.817855108627452
- License:
- Abstract: Mean-field Langevin dynamics (MFLD) minimizes an entropy-regularized nonlinear convex functional defined over the space of probability distributions. MFLD has gained attention due to its connection with noisy gradient descent for mean-field two-layer neural networks. Unlike standard Langevin dynamics, the nonlinearity of the objective functional induces particle interactions, necessitating multiple particles to approximate the dynamics in a finite-particle setting. Recent works (Chen et al., 2022; Suzuki et al., 2023b) have demonstrated the uniform-in-time propagation of chaos for MFLD, showing that the gap between the particle system and its mean-field limit uniformly shrinks over time as the number of particles increases. In this work, we improve the dependence on logarithmic Sobolev inequality (LSI) constants in their particle approximation errors, which can exponentially deteriorate with the regularization coefficient. Specifically, we establish an LSI-constant-free particle approximation error concerning the objective gap by leveraging the problem structure in risk minimization. As the application, we demonstrate improved convergence of MFLD, sampling guarantee for the mean-field stationary distribution, and uniform-in-time Wasserstein propagation of chaos in terms of particle complexity.
- Abstract（参考訳）: MFLD(Mean-field Langevin dynamics)は、確率分布の空間上で定義されるエントロピー規則化された非線形凸関数を最小化する。
MFLDは平均場2層ニューラルネットワークの雑音勾配勾配と接続しているため注目されている。
通常のランゲヴィン力学とは異なり、目的関数の非線形性は粒子の相互作用を誘導し、有限粒子設定における力学を近似するために複数の粒子を必要とする。
最近の研究(Chen et al , 2022; Suzuki et al , 2023b)は、MFLDのカオスの時間内均一伝播を実証し、粒子の数が増加するにつれて粒子系と平均場限界のギャップが時間とともに一様に縮むことを示した。
本研究では粒子近似誤差における対数的ソボレフ不等式(LSI)定数の依存性を改善し,正則化係数で指数関数的に劣化させることができる。
具体的には、リスク最小化における問題構造を活用することにより、目的ギャップに関するLSI-コンスタントフリー粒子近似誤差を確立する。
適用例として,MFLDの収束性の向上,平均場定常分布のサンプリング保証,および粒子の複雑度の観点からのカオスの均一時間Wasserstein伝播を示す。
関連論文リスト
- Kinetic Interacting Particle Langevin Monte Carlo [0.0]
本稿では,潜在変数モデルにおける統計的推論のために,アンダーダム付きランゲヴィンアルゴリズムの相互作用について紹介し,解析する。
本稿では,パラメータと潜伏変数の空間内で共同で進化する拡散過程を提案する。
統計モデルのパラメータを推定する実用的なアルゴリズムとして,この拡散について2つの明確な考察を行う。
論文 参考訳（メタデータ） (2024-07-08T09:52:46Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳（メタデータ） (2023-12-02T13:01:29Z) - Reducing defect production in random transverse-field Ising chains by
inhomogeneous driving fields [0.0]
逆場イジングモデルでは、結合の障害は臨界エネルギーギャップを劇的に減少させる。
結合障害と適切な選択された駆動場とのバランスをとることにより, 熱処理時間による欠陥密度のスケーリングを代数的にすることができることを示す。
また, システムの量子臨界点までゆっくりと冷却されるモデルにおいて, 環境温度のクエンチ中の欠陥生成について検討した。
論文 参考訳（メタデータ） (2023-09-22T12:28:22Z) - Convergence of mean-field Langevin dynamics: Time and space
discretization, stochastic gradient, and variance reduction [49.66486092259376]
平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。
近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。
有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
論文 参考訳（メタデータ） (2023-06-12T16:28:11Z) - Interacting Particle Langevin Algorithm for Maximum Marginal Likelihood
Estimation [2.53740603524637]
我々は,最大限界推定法を実装するための相互作用粒子系のクラスを開発する。
特に、この拡散の定常測度のパラメータ境界がギブス測度の形式であることを示す。
特定の再スケーリングを用いて、このシステムの幾何学的エルゴディディティを証明し、離散化誤差を限定する。
時間的に一様で、粒子の数で増加しない方法で。
論文 参考訳（メタデータ） (2023-03-23T16:50:08Z) - Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。
DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
論文 参考訳（メタデータ） (2023-02-07T10:51:53Z) - Locality of Spontaneous Symmetry Breaking and Universal Spacing
Distribution of Topological Defects Formed Across a Phase Transition [62.997667081978825]
連続相転移は、KZM(Kybble-Zurek mechanism)によって予測される密度を伴う位相欠陥の形成をもたらす。
結果の非平衡状態における点状位相欠陥の空間分布を特徴付けるとともに、任意の空間次元のポアソン点過程をKZM密度でモデル化する。
論文 参考訳（メタデータ） (2022-02-23T19:00:06Z) - Quantum correlations, entanglement spectrum and coherence of
two-particle reduced density matrix in the Extended Hubbard Model [62.997667081978825]
半充填時の一次元拡張ハバードモデルの基底状態特性について検討する。
特に超伝導領域では, エンタングルメントスペクトルが支配的な一重項(SS)と三重項(TS)のペアリング順序の遷移を信号する。
論文 参考訳（メタデータ） (2021-10-29T21:02:24Z) - Statistical mechanics of one-dimensional quantum droplets [0.0]
変調不安定な1次元量子滴の動的緩和過程について検討した。
この不安定性は、複数の衝突を特徴とする量子滴の自然形成に繋がる。
論文 参考訳（メタデータ） (2021-02-25T15:30:30Z) - Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。
本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
論文 参考訳（メタデータ） (2020-06-16T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。