論文の概要: User-friendly guarantees for the Langevin Monte Carlo with inaccurate gradient

• arxiv url: http://arxiv.org/abs/1710.00095v4
• Date: Fri, 23 Feb 2024 17:39:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 19:52:26.929537
• Title: User-friendly guarantees for the Langevin Monte Carlo with inaccurate gradient
• Title（参考訳）: 不正確な勾配をもつランジュバンモンテカルロのユーザフレンドリーな保証
• Authors: Arnak S. Dalalyan and Avetik G. Karagulyan
• Abstract要約: 本稿では,Langevin拡散の離散化に基づく近似サンプリングのいくつかの手法を解析する。 我々の保証は、最先端の結果を3方向に改善または拡張します。
• 参考スコア（独自算出の注目度）: 8.348896353632165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study the problem of sampling from a given probability density function that is known to be smooth and strongly log-concave. We analyze several methods of approximate sampling based on discretizations of the (highly overdamped) Langevin diffusion and establish guarantees on its error measured in the Wasserstein-2 distance. Our guarantees improve or extend the state-of-the-art results in three directions. First, we provide an upper bound on the error of the first-order Langevin Monte Carlo (LMC) algorithm with optimized varying step-size. This result has the advantage of being horizon free (we do not need to know in advance the target precision) and to improve by a logarithmic factor the corresponding result for the constant step-size. Second, we study the case where accurate evaluations of the gradient of the log-density are unavailable, but one can have access to approximations of the aforementioned gradient. In such a situation, we consider both deterministic and stochastic approximations of the gradient and provide an upper bound on the sampling error of the first-order LMC that quantifies the impact of the gradient evaluation inaccuracies. Third, we establish upper bounds for two versions of the second-order LMC, which leverage the Hessian of the log-density. We provide nonasymptotic guarantees on the sampling error of these second-order LMCs. These guarantees reveal that the second-order LMC algorithms improve on the first-order LMC in ill-conditioned settings.
• Abstract（参考訳）: 本稿では,スムーズかつ強い対数対数を持つことが知られている確率密度関数からサンプリングする問題について検討する。 我々は,(過大な)ランゲヴィン拡散の離散化に基づく近似サンプリングのいくつかの手法を解析し,ワッサーシュタイン2距離で測定された誤差の保証を確立する。 我々の保証は、最先端の結果を3方向に改善または拡張します。 まず、最適化されたステップサイズを持つ一階Langevin Monte Carlo(LMC)アルゴリズムの誤差について上限を与える。 この結果は地平線自由である(目標精度を事前に知る必要はない)ことと、対数係数によって一定のステップサイズに対する対応する結果を改善するという利点がある。 第2に, 対数密度の勾配の正確な評価ができない場合について検討するが, 上記の勾配の近似値へのアクセスは可能である。 このような状況下では、勾配の決定論的および確率的近似を考慮し、勾配評価の不正確性の影響を定量化する一階lccのサンプリング誤差の上界を与える。 第3に、ログ密度のヘシアンを利用する2階LCCの2つのバージョンに対する上限を確立する。 これらの2次lmcのサンプリング誤差に対する非漸近的保証を提供する。 これらの保証により、2階LCCアルゴリズムは、条件の悪い環境での1階LCCを改善する。

関連論文リスト

• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• Unbiased Kinetic Langevin Monte Carlo with Inexact Gradients [0.8749675983608172]
  動力学的ランゲヴィンダイナミクスに基づく後進手段の非バイアス化手法を提案する。 提案した推定器は偏りがなく、有限分散となり、中心極限定理を満たす。 以上の結果から、大規模アプリケーションでは、非バイアスアルゴリズムは「ゴールドスタンダード」なハミルトニアン・モンテカルロよりも2～3桁効率が良いことが示された。
  論文  参考訳（メタデータ） (2023-11-08T21:19:52Z)
• DF2: Distribution-Free Decision-Focused Learning [53.2476224456902]
  決定中心学習(DFL)は近年,予測最適化問題に対する強力なアプローチとして出現している。 既存のエンドツーエンドDFL法は、モデル誤差、サンプル平均近似誤差、予測対象の分布に基づくパラメータ化の3つの重大なボトルネックによって妨げられている。 DF2は,これら3つのボトルネックに明示的に対処するために設計された,初となるテキストフリーな意思決定型学習手法である。
  論文  参考訳（メタデータ） (2023-08-11T00:44:46Z)
• Kinetic Langevin MCMC Sampling Without Gradient Lipschitz Continuity -- the Strongly Convex Case [0.0]
  目的がグローバルリプシッツであると仮定することなく,ハミルトン条件下での対数凹面分布からのサンプリングを検討する。 本稿では,多角勾配(テード)オイラースキームに基づく2つのアルゴリズムを提案し,各アルゴリズムのプロセスの法則と対象測度との間の非漸近的な2-ワッサーシュタイン距離を求める。
  論文  参考訳（メタデータ） (2023-01-19T12:32:41Z)
• Utilising the CLT Structure in Stochastic Gradient based Sampling : Improved Analysis and Faster Algorithms [14.174806471635403]
  粒子ダイナミック(IPD)に対するグラディエント・ランゲヴィン・ダイナミクス(SGLD)やランダムバッチ法(RBM)などのサンプリングアルゴリズムの近似を考察する。 近似によって生じる雑音は中央極限定理(CLT)によりほぼガウス的であるが、ブラウン運動はまさにガウス的である。 この構造を利用して拡散過程内の近似誤差を吸収し、これらのアルゴリズムの収束保証を改善する。
  論文  参考訳（メタデータ） (2022-06-08T10:17:40Z)
• Mean-Square Analysis with An Application to Optimal Dimension Dependence of Langevin Monte Carlo [60.785586069299356]
  この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。 我々の理論解析は数値実験によってさらに検証される。
  論文  参考訳（メタデータ） (2021-09-08T18:00:05Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• An Optimal Multistage Stochastic Gradient Method for Minimax Problems [8.615625517708324]
  滑らかかつ強凸な凹凸配置におけるミニマックス最適化問題について検討する。 まず, 定常ステップサイズでグラディエントDescent Ascent (GDA) 法を解析した。 本稿では,学習速度の減衰スケジュールを多段階に設定した多段階型GDAを提案する。
  論文  参考訳（メタデータ） (2020-02-13T18:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。