論文の概要: Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo
- arxiv url: http://arxiv.org/abs/2109.03839v1
- Date: Wed, 8 Sep 2021 18:00:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-10 14:23:02.825648
- Title: Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo
- Title(参考訳): 平均二乗解析とLangevin Monte Carloの最適次元依存性への応用
- Authors: Ruilin Li, Hongyuan Zha, Molei Tao
- Abstract要約: この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
- 参考スコア(独自算出の注目度): 60.785586069299356
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sampling algorithms based on discretizations of Stochastic Differential
Equations (SDEs) compose a rich and popular subset of MCMC methods. This work
provides a general framework for the non-asymptotic analysis of sampling error
in 2-Wasserstein distance, which also leads to a bound of mixing time. The
method applies to any consistent discretization of contractive SDEs. When
applied to Langevin Monte Carlo algorithm, it establishes
$\tilde{\mathcal{O}}\left( \frac{\sqrt{d}}{\epsilon} \right)$ mixing time,
without warm start, under the common log-smooth and log-strongly-convex
conditions, plus a growth condition on the 3rd-order derivative of the
potential of target measures at infinity. This bound improves the best
previously known $\tilde{\mathcal{O}}\left( \frac{d}{\epsilon} \right)$ result
and is optimal (in terms of order) in both dimension $d$ and accuracy tolerance
$\epsilon$ for target measures satisfying the aforementioned assumptions. Our
theoretical analysis is further validated by numerical experiments.
- Abstract(参考訳): 確率微分方程式(SDE)の離散化に基づくサンプリングアルゴリズムは、MCMC法のリッチで一般的なサブセットを構成する。
この研究は、2-wasserstein距離におけるサンプリング誤差の非漸近的解析のための一般的な枠組みを提供する。
この方法は、契約型SDEの任意の一貫した離散化に適用できる。
ランジュバン・モンテカルロアルゴリズムに適用すると、通常の対数-スムースおよび対数-強凸条件の下で、温暖なスタートのない$\tilde{\mathcal{o}}\left( \frac{\sqrt{d}}{\epsilon} \right)$混合時間と、無限遠における目標測度のポテンシャルの3階微分に対する成長条件が確立される。
この境界は、最もよく知られた$\tilde{\mathcal{O}}\left( \frac{d}{\epsilon} \right)$の結果を改善し、上記の仮定を満たすターゲット測度に対して、次元$d$と精度トレランス$\epsilon$の両方で最適である。
我々の理論解析は数値実験によってさらに検証される。
関連論文リスト
- Unbiased Kinetic Langevin Monte Carlo with Inexact Gradients [0.9558392439655016]
動力学的ランゲヴィンダイナミクスに基づく後進手段の非バイアス化手法を提案する。
提案した推定器は偏りがなく、有限分散となり、中心極限定理を満たす。
実験により, 有効試料当たりの勾配評価の数は, 不正確な勾配を用いた場合においても, 寸法に依存しないことが示唆された。
論文 参考訳(メタデータ) (2023-11-08T21:19:52Z) - Kinetic Langevin MCMC Sampling Without Gradient Lipschitz Continuity --
the Strongly Convex Case [0.0]
目的がグローバルリプシッツであると仮定することなく,ハミルトン条件下での対数凹面分布からのサンプリングを検討する。
本稿では,多角勾配(テード)オイラースキームに基づく2つのアルゴリズムを提案し,各アルゴリズムのプロセスの法則と対象測度との間の非漸近的な2-ワッサーシュタイン距離を求める。
論文 参考訳(メタデータ) (2023-01-19T12:32:41Z) - Min-Max Optimization Made Simple: Approximating the Proximal Point
Method via Contraction Maps [77.8999425439444]
本稿では,凸/凹凸 min-max 問題に対して,ほぼ最適収束率を許容する一階法を提案する。
我々の研究は、近点法の更新規則を精度良く近似できるという事実に基づいている。
論文 参考訳(メタデータ) (2023-01-10T12:18:47Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳(メタデータ) (2022-06-17T06:10:20Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳(メタデータ) (2022-03-30T11:39:00Z) - Optimal and instance-dependent guarantees for Markovian linear
stochastic approximation [77.84027086542827]
標準スキームの最後の繰り返しの2乗誤差に対して、$t_mathrmmix tfracdn$の非漸近境界を示す。
マルコフ雑音による政策評価について,これらの結果のまとめを導出する。
論文 参考訳(メタデータ) (2021-12-23T18:47:50Z) - Wasserstein distance estimates for the distributions of numerical
approximations to ergodic stochastic differential equations [0.3553493344868413]
エルゴード微分方程式のイン分布と強い対数凸の場合の分布との間のワッサースタイン距離について検討した。
これにより、過減衰および過減衰ランジュバン力学の文献で提案されている多くの異なる近似を統一的に研究することができる。
論文 参考訳(メタデータ) (2021-04-26T07:50:04Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳(メタデータ) (2020-10-19T15:23:18Z) - Robust High Dimensional Expectation Maximization Algorithm via Trimmed
Hard Thresholding [24.184520829631587]
本研究では,高次元空間における任意の劣化サンプルを用いた潜在変数モデルの推定問題について検討する。
本稿では,トリミング勾配ステップを付加したトリミング予測最大化法を提案する。
アルゴリズムは汚損防止であり、幾何学的に(ほぼ)最適統計率に収束することを示す。
論文 参考訳(メタデータ) (2020-10-19T15:00:35Z) - Convergence of Langevin Monte Carlo in Chi-Squared and Renyi Divergence [8.873449722727026]
推定値である$widetildemathcalO(depsilon-1)$が,これらの測定値の既知レートを改善することを示す。
特に凸および1次滑らかなポテンシャルについて、LCCアルゴリズムは、これらの測定値の既知率を改善するために$widetildemathcalO(depsilon-1)$を推定する。
論文 参考訳(メタデータ) (2020-07-22T18:18:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。