論文の概要: Penalized Langevin dynamics with vanishing penalty for smooth and
log-concave targets
- arxiv url: http://arxiv.org/abs/2006.13998v1
- Date: Wed, 24 Jun 2020 18:56:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 10:08:24.466319
- Title: Penalized Langevin dynamics with vanishing penalty for smooth and
log-concave targets
- Title（参考訳）: 滑らかおよびログコンケーブターゲットに対する消滅ペナルティを伴うペナルティ化ランジュバンダイナミックス
- Authors: Avetik Karagulyan, Arnak S. Dalalyan
- Abstract要約: 我々は、Penalized Langevin dynamics (PLD) と呼ばれる連続時間拡散型プロセスを考え、そのドリフトはポテンシャルの負の勾配であり、無限大に進むと消滅する線形ペナルティである。
時刻t$におけるPLDの分布と目標とのワッサースタイン2距離上の上限を確立する。
最適化問題に対するペナル化勾配流の収束の新しい漸近的保証を推算する。
- 参考スコア（独自算出の注目度）: 6.396288020763144
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of sampling from a probability distribution on $\mathbb
R^p$ defined via a convex and smooth potential function. We consider a
continuous-time diffusion-type process, termed Penalized Langevin dynamics
(PLD), the drift of which is the negative gradient of the potential plus a
linear penalty that vanishes when time goes to infinity. An upper bound on the
Wasserstein-2 distance between the distribution of the PLD at time $t$ and the
target is established. This upper bound highlights the influence of the speed
of decay of the penalty on the accuracy of the approximation. As a consequence,
considering the low-temperature limit we infer a new nonasymptotic guarantee of
convergence of the penalized gradient flow for the optimization problem.
- Abstract（参考訳）: 凸および滑らかなポテンシャル関数によって定義される$\mathbb R^p$上の確率分布からサンプリングする問題について検討する。
我々は、Penalized Langevin dynamics (PLD) と呼ばれる連続時間拡散型プロセスを考え、そのドリフトはポテンシャルの負の勾配であり、無限大に進むと消滅する線形ペナルティである。
時間$t$におけるpldの分布と目標とのワッサースタイン-2距離の上界が確立される。
この上限は、近似の精度に対するペナルティの崩壊速度の影響を強調している。
その結果, 低温限界を考慮し, 最適化問題に対するペナラライズド勾配流の収束の非漸近的保証を推定した。
関連論文リスト
- A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Stochastic Approximation with Delayed Updates: Finite-Time Rates under Markovian Sampling [73.5602474095954]
マルコフサンプリングの遅延更新による近似スキームの非漸近的性能について検討した。
我々の理論的な発見は、幅広いアルゴリズムの遅延の有限時間効果に光を当てた。
論文 参考訳（メタデータ） (2024-02-19T03:08:02Z) - Fisher information dissipation for time inhomogeneous stochastic
differential equations [7.076726009680242]
時間不均一な変数微分方程式に対するリアプノフ収束解析を提供する。
3つの典型的な例は、過度に破壊された、不可逆的なドリフト、および過度に破壊されたランゲヴィン力学である。
論文 参考訳（メタデータ） (2024-02-01T21:49:50Z) - Distributionally Time-Varying Online Stochastic Optimization under
Polyak-{\L}ojasiewicz Condition with Application in Conditional Value-at-Risk
Statistical Learning [9.749745086213215]
オンライン最適化のレンズによる時間変化分布に続き、一連の最適化問題を考察する。
本研究では,CVaR学習問題に適用可能であることを示す。
論文 参考訳（メタデータ） (2023-09-18T00:47:08Z) - Convergence of mean-field Langevin dynamics: Time and space
discretization, stochastic gradient, and variance reduction [49.66486092259376]
平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。
近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。
有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
論文 参考訳（メタデータ） (2023-06-12T16:28:11Z) - On uniform-in-time diffusion approximation for stochastic gradient
descent [11.437892757715877]
本稿では,勾配降下の時間内均一拡散近似(SGD)を確立する。
主な手法は、後方のコルモゴロフ方程式への解の微分の指数的崩壊率を確立することである。
論文 参考訳（メタデータ） (2022-07-11T14:58:14Z) - High-probability Bounds for Non-Convex Stochastic Optimization with
Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。
本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文 参考訳（メタデータ） (2021-06-28T00:17:01Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。
本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
論文 参考訳（メタデータ） (2020-06-16T15:07:37Z) - Function approximation by neural nets in the mean-field regime: Entropic regularization and controlled McKean-Vlasov dynamics [7.1822457112352955]
我々は「ほぼガウス的」なランダム重みを持つ2層ニューラルネットワークによる関数近似の問題を考察する。
この問題は、ウェイト上の確率測度を超える経路空間で機能する自由エネルギーの大域的最小化として表現できることを示す。
論文 参考訳（メタデータ） (2020-02-05T20:50:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。