論文の概要: Propagation of Chaos for Mean-Field Langevin Dynamics and its Application to Model Ensemble

• arxiv url: http://arxiv.org/abs/2502.05784v1
• Date: Sun, 09 Feb 2025 05:58:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:35:12.151201
• Title: Propagation of Chaos for Mean-Field Langevin Dynamics and its Application to Model Ensemble
• Title（参考訳）: 平均場ランゲヴィンダイナミクスのカオス伝播とモデルアンサンブルへの応用
• Authors: Atsushi Nitanda, Anzelle Lee, Damian Tan Xing Kai, Mizuki Sakaguchi, Taiji Suzuki,
• Abstract要約: 平均場ランゲヴィンダイナミクス (Mean-field Langevin dynamics, MFLD) は、2層ニューラルネットワークにおける雑音勾配勾配の平均場限界を導出した最適化手法である。 最近の研究は、有限粒子による近似誤差が時間的に均一であり、粒子数が増加するにつれて減少することを示している。 本稿では, 粒子近似項から正則化係数への指数的依存を除去する改良されたMFLDのPoC結果を確立する。
• 参考スコア（独自算出の注目度）: 36.19164064733151
• License:
• Abstract: Mean-field Langevin dynamics (MFLD) is an optimization method derived by taking the mean-field limit of noisy gradient descent for two-layer neural networks in the mean-field regime. Recently, the propagation of chaos (PoC) for MFLD has gained attention as it provides a quantitative characterization of the optimization complexity in terms of the number of particles and iterations. A remarkable progress by Chen et al. (2022) showed that the approximation error due to finite particles remains uniform in time and diminishes as the number of particles increases. In this paper, by refining the defective log-Sobolev inequality -- a key result from that earlier work -- under the neural network training setting, we establish an improved PoC result for MFLD, which removes the exponential dependence on the regularization coefficient from the particle approximation term of the optimization complexity. As an application, we propose a PoC-based model ensemble strategy with theoretical guarantees.
• Abstract（参考訳）: 平均場ランゲヴィン力学 (Mean-field Langevin dynamics, MFLD) は、平均場状態における2層ニューラルネットワークの雑音勾配勾配の平均場限界を導出した最適化手法である。 近年,MFLDにおけるカオス(PoC)の伝播が注目されている。 Chen et al (2022) による顕著な進歩は、有限粒子による近似誤差は時間的に均一であり、粒子の数が増加するにつれて減少することを示した。 本稿では、ニューラルネットワークトレーニング設定の下で、欠陥のある対数ソボレフの不等式(初期の研究から得られた重要な結果)を精製することにより、最適化複雑性の粒子近似項から正規化係数への指数関数依存を除去する改良されたPoC結果を確立する。 応用として,理論的保証を伴うPoCモデルアンサンブル戦略を提案する。

関連論文リスト

• Pseudospectral method for solving PDEs using Matrix Product States [0.0]
  本研究では,行列積状態(MPS)を用いた時間依存偏微分方程式(PDE)の解くことに焦点を当てる。 本稿では,Hermite Distributed Approximating Functions(HDAF)をMPSに拡張する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-04T17:53:38Z)
• Improved Particle Approximation Error for Mean Field Neural Networks [9.817855108627452]
  MFLD(Mean-field Langevin dynamics)は、確率分布の空間上で定義されるエントロピー規則化された非線形凸関数を最小化する。 最近の研究は、MFLDにおけるカオスの時間的一様伝播を実証している。 粒子近似誤差における対数的ソボレフ不等式(LSI)定数の依存性を改善する。
  論文  参考訳（メタデータ） (2024-05-24T17:59:06Z)
• Taming the Interacting Particle Langevin Algorithm -- the superlinear case [0.0]
  我々は、この非線型性の下で、タグ付き相互作用粒子ランゲヴィンアルゴリズム(tIPLA)と呼ばれる新しい安定なクラスを開発する。 We obtain non-asymptotic convergence error estimates in Wasserstein-2 distance for the new class under an optimal rate。
  論文  参考訳（メタデータ） (2024-03-28T17:11:25Z)
• Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
  平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。 また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
  論文  参考訳（メタデータ） (2023-12-02T13:01:29Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
  最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。 本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。