論文の概要: Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo
- arxiv url: http://arxiv.org/abs/2109.03839v1
- Date: Wed, 8 Sep 2021 18:00:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-10 14:23:02.825648
- Title: Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo
- Title（参考訳）: 平均二乗解析とLangevin Monte Carloの最適次元依存性への応用
- Authors: Ruilin Li, Hongyuan Zha, Molei Tao
- Abstract要約: この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
- 参考スコア（独自算出の注目度）: 60.785586069299356
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sampling algorithms based on discretizations of Stochastic Differential
Equations (SDEs) compose a rich and popular subset of MCMC methods. This work
provides a general framework for the non-asymptotic analysis of sampling error
in 2-Wasserstein distance, which also leads to a bound of mixing time. The
method applies to any consistent discretization of contractive SDEs. When
applied to Langevin Monte Carlo algorithm, it establishes
$\tilde{\mathcal{O}}\left( \frac{\sqrt{d}}{\epsilon} \right)$ mixing time,
without warm start, under the common log-smooth and log-strongly-convex
conditions, plus a growth condition on the 3rd-order derivative of the
potential of target measures at infinity. This bound improves the best
previously known $\tilde{\mathcal{O}}\left( \frac{d}{\epsilon} \right)$ result
and is optimal (in terms of order) in both dimension $d$ and accuracy tolerance
$\epsilon$ for target measures satisfying the aforementioned assumptions. Our
theoretical analysis is further validated by numerical experiments.
- Abstract（参考訳）: 確率微分方程式(SDE)の離散化に基づくサンプリングアルゴリズムは、MCMC法のリッチで一般的なサブセットを構成する。
この研究は、2-wasserstein距離におけるサンプリング誤差の非漸近的解析のための一般的な枠組みを提供する。
この方法は、契約型SDEの任意の一貫した離散化に適用できる。
ランジュバン・モンテカルロアルゴリズムに適用すると、通常の対数-スムースおよび対数-強凸条件の下で、温暖なスタートのない$\tilde{\mathcal{o}}\left( \frac{\sqrt{d}}{\epsilon} \right)$混合時間と、無限遠における目標測度のポテンシャルの3階微分に対する成長条件が確立される。
この境界は、最もよく知られた$\tilde{\mathcal{O}}\left( \frac{d}{\epsilon} \right)$の結果を改善し、上記の仮定を満たすターゲット測度に対して、次元$d$と精度トレランス$\epsilon$の両方で最適である。
我々の理論解析は数値実験によってさらに検証される。
関連論文リスト
- Nonasymptotic Analysis of Stochastic Gradient Descent with the Richardson-Romberg Extrapolation [22.652143194356864]
ステップサイズが一定となる勾配勾配(SGD)アルゴリズムを用いて, 強い凸と滑らかな問題を解く問題に対処する。
得られた推定子の平均二乗誤差を$n$の反復数に対して拡張する。
我々は、この鎖が定義された重み付きワッサーシュタイン半計量に関して幾何学的にエルゴード的であることを確証する。
論文 参考訳（メタデータ） (2024-10-07T15:02:48Z) - Stochastic First-Order Methods with Non-smooth and Non-Euclidean Proximal Terms for Nonconvex High-Dimensional Stochastic Optimization [2.0657831823662574]
非問題が非問題である場合、一階法のサンプルは問題次元に線形に依存することがあるが、望ましくない問題に対するものである。
我々のアルゴリズムは距離を使って複雑さを見積もることができる。
MathO (log d) / EuM4。
DISFOM は $mathO (log d) / EuM4 を用いて分散を鋭くすることができることを示す。
論文 参考訳（メタデータ） (2024-06-27T18:38:42Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳（メタデータ） (2023-12-02T13:01:29Z) - Unbiased Kinetic Langevin Monte Carlo with Inexact Gradients [0.8749675983608172]
動力学的ランゲヴィンダイナミクスに基づく後進手段の非バイアス化手法を提案する。
提案した推定器は偏りがなく、有限分散となり、中心極限定理を満たす。
以上の結果から、大規模アプリケーションでは、非バイアスアルゴリズムは「ゴールドスタンダード」なハミルトニアン・モンテカルロよりも2～3桁効率が良いことが示された。
論文 参考訳（メタデータ） (2023-11-08T21:19:52Z) - Kinetic Langevin MCMC Sampling Without Gradient Lipschitz Continuity --
the Strongly Convex Case [0.0]
目的がグローバルリプシッツであると仮定することなく,ハミルトン条件下での対数凹面分布からのサンプリングを検討する。
本稿では,多角勾配(テード)オイラースキームに基づく2つのアルゴリズムを提案し,各アルゴリズムのプロセスの法則と対象測度との間の非漸近的な2-ワッサーシュタイン距離を求める。
論文 参考訳（メタデータ） (2023-01-19T12:32:41Z) - Min-Max Optimization Made Simple: Approximating the Proximal Point
Method via Contraction Maps [77.8999425439444]
本稿では,凸/凹凸 min-max 問題に対して,ほぼ最適収束率を許容する一階法を提案する。
我々の研究は、近点法の更新規則を精度良く近似できるという事実に基づいている。
論文 参考訳（メタデータ） (2023-01-10T12:18:47Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳（メタデータ） (2022-03-30T11:39:00Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - Convergence of Langevin Monte Carlo in Chi-Squared and Renyi Divergence [8.873449722727026]
推定値である$widetildemathcalO(depsilon-1)$が,これらの測定値の既知レートを改善することを示す。
特に凸および1次滑らかなポテンシャルについて、LCCアルゴリズムは、これらの測定値の既知率を改善するために$widetildemathcalO(depsilon-1)$を推定する。
論文 参考訳（メタデータ） (2020-07-22T18:18:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。