論文の概要: Non-asymptotic estimates for accelerated high order Langevin Monte Carlo algorithms
- arxiv url: http://arxiv.org/abs/2405.05679v1
- Date: Thu, 9 May 2024 11:12:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-10 13:42:37.598878
- Title: Non-asymptotic estimates for accelerated high order Langevin Monte Carlo algorithms
- Title（参考訳）: 高速化された高次ランゲヴィンモンテカルロアルゴリズムの非漸近推定
- Authors: Ariel Neufeld, Ying Zhang,
- Abstract要約: 我々は,高次元対象分布からサンプルを得るために,aHOLAとaHOLLAという2つの新しいアルゴリズムを提案する。
ワッサースタイン1およびワッサースタイン2分布におけるaHOLAの非漸近収束速度を確立する。
- 参考スコア（独自算出の注目度）: 8.058385158111207
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose two new algorithms, namely aHOLA and aHOLLA, to sample from high-dimensional target distributions with possibly super-linearly growing potentials. We establish non-asymptotic convergence bounds for aHOLA in Wasserstein-1 and Wasserstein-2 distances with rates of convergence equal to $1+q/2$ and $1/2+q/4$, respectively, under a local H\"{o}lder condition with exponent $q\in(0,1]$ and a convexity at infinity condition on the potential of the target distribution. Similar results are obtained for aHOLLA under certain global continuity conditions and a dissipativity condition. Crucially, we achieve state-of-the-art rates of convergence of the proposed algorithms in the non-convex setting which are higher than those of the existing algorithms. Numerical experiments are conducted to sample from several distributions and the results support our main findings.
- Abstract（参考訳）: 本稿では,高次元目標分布から超直線的に増大するポテンシャルを持つ2つの新しいアルゴリズム,aHOLAとaHOLLAを提案する。
我々は、それぞれ1+q/2$と1/2+q/4$の収束率を持つワッサーシュタイン-1とワッサーシュタイン-2の aHOLA の非漸近収束境界を、指数 $q\in(0,1]$ の局所 H\"{o}lder 条件と、目標分布のポテンシャルに対する無限大条件での凸性の下で確立する。
同様の結果は、ある大域連続性条件下でのaHOLLAと解離性条件で得られる。
重要なことは、提案アルゴリズムの既存のアルゴリズムよりも高い非凸設定において、提案アルゴリズムの収束の最先端性を達成することである。
いくつかの分布からサンプルを採取し,本研究の成果を裏付ける数値実験を行った。
関連論文リスト
- Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Taming under isoperimetry [0.0]
本稿では,ログの増大に伴う分布のサンプル化を目的としたLangevinベースのスキームであるmathbfsTULA$を提案する。
非漸近KLを導出し、結果としてLog-Sobolevの不等式を満たす。
論文 参考訳（メタデータ） (2023-11-15T14:44:16Z) - High-Probability Bounds for Stochastic Optimization and Variational
Inequalities: the Case of Unbounded Variance [59.211456992422136]
制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。
これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
論文 参考訳（メタデータ） (2023-02-02T10:37:23Z) - Fixed-Time Convergence for a Class of Nonconvex-Nonconcave Min-Max
Problems [5.787117733071416]
min-max問題を解くための固定時間収束サドル点力学系を開発した。
提案手法は他のどの状態法と比較しても高速に実現できる。
論文 参考訳（メタデータ） (2022-07-26T12:25:05Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。
我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。
有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
論文 参考訳（メタデータ） (2020-08-28T14:46:56Z) - Convergence of Langevin Monte Carlo in Chi-Squared and Renyi Divergence [8.873449722727026]
推定値である$widetildemathcalO(depsilon-1)$が,これらの測定値の既知レートを改善することを示す。
特に凸および1次滑らかなポテンシャルについて、LCCアルゴリズムは、これらの測定値の既知率を改善するために$widetildemathcalO(depsilon-1)$を推定する。
論文 参考訳（メタデータ） (2020-07-22T18:18:28Z) - Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave
Min-Max Problems with PL Condition [52.08417569774822]
本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
論文 参考訳（メタデータ） (2020-06-12T00:32:21Z) - Non-asymptotic Superlinear Convergence of Standard Quasi-Newton Methods [26.328847475942894]
準ニュートンアルゴリズムのブロイデン級の非漸近超線型収束速度を証明した。
この結果は, 準ニュートン法に対する非漸近超線形収束率を示すのが最初である。
論文 参考訳（メタデータ） (2020-03-30T16:42:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。