論文の概要: Function approximation by neural nets in the mean-field regime: Entropic regularization and controlled McKean-Vlasov dynamics

• arxiv url: http://arxiv.org/abs/2002.01987v4
• Date: Sat, 22 Jun 2024 16:57:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 23:34:57.557868
• Title: Function approximation by neural nets in the mean-field regime: Entropic regularization and controlled McKean-Vlasov dynamics
• Title（参考訳）: 平均場状態におけるニューラルネットによる関数近似:エントロピー正則化とマッキーン・ブラソフダイナミクスの制御
• Authors: Belinda Tzen, Maxim Raginsky,
• Abstract要約: 我々は「ほぼガウス的」なランダム重みを持つ2層ニューラルネットワークによる関数近似の問題を考察する。 この問題は、ウェイト上の確率測度を超える経路空間で機能する自由エネルギーの大域的最小化として表現できることを示す。
• 参考スコア（独自算出の注目度）: 7.1822457112352955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of function approximation by two-layer neural nets with random weights that are "nearly Gaussian" in the sense of Kullback-Leibler divergence. Our setting is the mean-field limit, where the finite population of neurons in the hidden layer is replaced by a continuous ensemble. We show that the problem can be phrased as global minimization of a free energy functional on the space of (finite-length) paths over probability measures on the weights. This functional trades off the $L^2$ approximation risk of the terminal measure against the KL divergence of the path with respect to an isotropic Brownian motion prior. We characterize the unique global minimizer and examine the dynamics in the space of probability measures over weights that can achieve it. In particular, we show that the optimal path-space measure corresponds to the F\"ollmer drift, the solution to a McKean-Vlasov optimal control problem closely related to the classic Schr\"odinger bridge problem. While the F\"ollmer drift cannot in general be obtained in closed form, thus limiting its potential algorithmic utility, we illustrate the viability of the mean-field Langevin diffusion as a finite-time approximation under various conditions on entropic regularization. Specifically, we show that it closely tracks the F\"ollmer drift when the regularization is such that the minimizing density is log-concave.
• Abstract（参考訳）: クルバック・リーブラーの発散という意味では、「ほぼガウス的」なランダム重みを持つ2層ニューラルネットによる関数近似の問題を考察する。 我々の設定は平均場限界であり、隠れた層のニューロンの有限個体群は連続的なアンサンブルに置き換えられる。 この問題は、重みの確率測度よりも(有限長の)経路の空間上で機能する自由エネルギーの大域的最小化と表現できる。 この関数は、前の等方的ブラウン運動に関して経路のKL発散に対して終端測度の$L^2$近似リスクを負う。 我々は、一意な大域最小化器を特徴づけ、それを達成できる重みよりも確率測度の空間における力学を考察する。 特に、最適経路空間測度は、古典的なシュリンガー橋問題と密接に関連するマッキーン・ヴラソフ最適制御問題の解であるF\"ollmer drift"に対応することを示す。 F\'ollmer のドリフトは一般に閉形式では得られないため、その潜在的なアルゴリズム的有用性は制限されるが、エントロピー正則化の様々な条件下での有限時間近似として平均場ランゲヴィン拡散が実現可能であることを示す。 具体的には、正則化が最小化密度が対数凹凸であるような場合、F\"ollmer"ドリフトを密に追跡することを示す。

関連論文リスト

• Mean-field underdamped Langevin dynamics and its spacetime discretization [5.832709207282124]
  確率測度空間上で定義された非線形汎函数の特殊クラスを最適化するために,N粒子アンダーダム化ランゲヴィンアルゴリズムという新しい手法を提案する。 本アルゴリズムは, 平均場下減衰ランゲヴィンダイナミクスの時空離散化に基づく。
  論文  参考訳（メタデータ） (2023-12-26T23:59:04Z)
• Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
  平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。 また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
  論文  参考訳（メタデータ） (2023-12-02T13:01:29Z)
• Projected Langevin dynamics and a gradient flow for entropic optimal transport [0.8057006406834466]
  エントロピー規則化された最適輸送からサンプリングした類似拡散力学を導入する。 部分多様体 $Pi(mu,nu)$ の誘導されたワッサーシュタイン幾何学の研究により、SDE はこの結合空間上のワッサーシュタイン勾配フローとみなすことができると論じる。
  論文  参考訳（メタデータ） (2023-09-15T17:55:56Z)
• Wasserstein Quantum Monte Carlo: A Novel Approach for Solving the Quantum Many-Body Schr\"odinger Equation [56.9919517199927]
  ワーッセルシュタイン量子モンテカルロ (WQMC) はフィッシャー・ラオ計量ではなくワーッセルシュタイン計量によって誘導される勾配流を用いており、テレポートではなく確率質量の輸送に対応する。 我々は、WQMCの力学が分子系の基底状態へのより高速な収束をもたらすことを実証的に実証した。
  論文  参考訳（メタデータ） (2023-07-06T17:54:08Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Accelerating Convergence in Global Non-Convex Optimization with Reversible Diffusion [0.0]
  ランゲヴィン・ダイナミクスは、グローバルな非最適化実験で広く用いられている。 提案手法は,速度と離散化誤差のトレードオフについて検討する。
  論文  参考訳（メタデータ） (2023-05-19T07:49:40Z)
• Trajectory Inference via Mean-field Langevin in Path Space [0.17205106391379024]
  軌道推論は、時間的限界のスナップショットから集団のダイナミクスを回復することを目的としている。 経路空間におけるウィナー測度に対するミンエントロピー推定器は、Lavenantらによって導入された。
  論文  参考訳（メタデータ） (2022-05-14T23:13:00Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Lifting the Convex Conjugate in Lagrangian Relaxations: A Tractable Approach for Continuous Markov Random Fields [53.31927549039624]
  断片的な離散化は既存の離散化問題と矛盾しないことを示す。 この理論を2つの画像のマッチング問題に適用する。
  論文  参考訳（メタデータ） (2021-07-13T12:31:06Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。