論文の概要: Kinetic Langevin MCMC Sampling Without Gradient Lipschitz Continuity --
the Strongly Convex Case
- arxiv url: http://arxiv.org/abs/2301.08039v1
- Date: Thu, 19 Jan 2023 12:32:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-20 15:08:26.200288
- Title: Kinetic Langevin MCMC Sampling Without Gradient Lipschitz Continuity --
the Strongly Convex Case
- Title(参考訳): 過敏性リプシッツ持続性のない運動性Langevin MCMCの1例
- Authors: Tim Johnston, Iosif Lytras and Sotirios Sabanis
- Abstract要約: 目的がグローバルリプシッツであると仮定することなく,ハミルトン条件下での対数凹面分布からのサンプリングを検討する。
本稿では,多角勾配(テード)オイラースキームに基づく2つのアルゴリズムを提案し,各アルゴリズムのプロセスの法則と対象測度との間の非漸近的な2-ワッサーシュタイン距離を求める。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this article we consider sampling from log concave distributions in
Hamiltonian setting, without assuming that the objective gradient is globally
Lipschitz. We propose two algorithms based on monotone polygonal (tamed) Euler
schemes, to sample from a target measure, and provide non-asymptotic
2-Wasserstein distance bounds between the law of the process of each algorithm
and the target measure. Finally, we apply these results to bound the excess
risk optimization error of the associated optimization problem.
- Abstract(参考訳): 本稿では、目的勾配がグローバルリプシッツであると仮定することなく、ハミルトン集合における対数凹面分布からのサンプリングを検討する。
単調多角形(テード)オイラースキームに基づく2つのアルゴリズムを提案し,対象測度からサンプリングし,各アルゴリズムの過程の法則と対象測度との間の非漸近的な2-wasserstein距離境界を与える。
最後に,これらの結果を,関連する最適化問題の過大なリスク最適化誤差に適用する。
関連論文リスト
- Robust Stochastic Optimization via Gradient Quantile Clipping [1.90365714903665]
グラディエントDescent(SGD)のための量子クリッピング戦略を導入する。
通常のクリッピングチェーンとして、グラデーション・ニュー・アウトリージを使用します。
本稿では,Huberiles を用いたアルゴリズムの実装を提案する。
論文 参考訳(メタデータ) (2023-09-29T15:24:48Z) - Cyclic Block Coordinate Descent With Variance Reduction for Composite
Nonconvex Optimization [26.218670461973705]
非漸近勾配ノルム保証を協調する問題の解法を提案する。
本研究は,ニューラルネットの深部学習における循環還元方式の有効性を実証するものである。
論文 参考訳(メタデータ) (2022-12-09T19:17:39Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳(メタデータ) (2022-03-30T11:39:00Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳(メタデータ) (2021-09-08T18:00:05Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - ROOT-SGD: Sharp Nonasymptotics and Asymptotic Efficiency in a Single
Algorithm [77.71051081132912]
第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。
emphRecursive One-Over-T Root (ROOTSGD) と呼ばれる小説を考案する。
有限サンプル勾配, 漸近感覚, 感覚を同時に達成することを証明する。
論文 参考訳(メタデータ) (2020-08-28T14:46:56Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳(メタデータ) (2020-06-11T17:43:19Z) - Nonasymptotic analysis of Stochastic Gradient Hamiltonian Monte Carlo
under local conditions for nonconvex optimization [0.0]
局所条件下での勾配の目標測度に対するハミルトニアンモンテカルロの収束の漸近解析を行う。
我々は,SGHMCが反復回数で一様に高精度な結果が得られることを証明した。
論文 参考訳(メタデータ) (2020-02-13T12:10:07Z) - Oracle Lower Bounds for Stochastic Gradient Sampling Algorithms [39.746670539407084]
我々は、$bbRd$の強い対数凹密度からサンプリングする問題を考察する。
必要なログ密度の勾配クエリ数に基づいて,情報理論の下界を証明した。
論文 参考訳(メタデータ) (2020-02-01T23:46:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。