論文の概要: From stability of Langevin diffusion to convergence of proximal MCMC for non-log-concave sampling

• arxiv url: http://arxiv.org/abs/2505.14177v1
• Date: Tue, 20 May 2025 10:29:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.066511
• Title: From stability of Langevin diffusion to convergence of proximal MCMC for non-log-concave sampling
• Title（参考訳）: 非log-concaveサンプリングのためのランゲヴィン拡散の安定性から近位MCMCの収束まで
• Authors: Marien Renaud, Valentin De Bortoli, Arthur Leclaire, Nicolas Papadakis,
• Abstract要約: 我々は、Untime Langevin (ULA) を用いた非後方からの離散分布のサンプリング問題を考える。 我々は ULA の頑健さを、ポテンシャルが無限大の凸であるという仮定に証明する。
• 参考スコア（独自算出の注目度）: 13.715563516345789
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of sampling distributions stemming from non-convex potentials with Unadjusted Langevin Algorithm (ULA). We prove the stability of the discrete-time ULA to drift approximations under the assumption that the potential is strongly convex at infinity. In many context, e.g. imaging inverse problems, potentials are non-convex and non-smooth. Proximal Stochastic Gradient Langevin Algorithm (PSGLA) is a popular algorithm to handle such potentials. It combines the forward-backward optimization algorithm with a ULA step. Our main stability result combined with properties of the Moreau envelope allows us to derive the first proof of convergence of the PSGLA for non-convex potentials. We empirically validate our methodology on synthetic data and in the context of imaging inverse problems. In particular, we observe that PSGLA exhibits faster convergence rates than Stochastic Gradient Langevin Algorithm for posterior sampling while preserving its restoration properties.
• Abstract（参考訳）: 未調整ランゲヴィンアルゴリズム(ULA)による非凸ポテンシャルからのサンプリング分布の問題を考察する。 離散時間 ULA のドリフト近似に対する安定性は、ポテンシャルが無限大において強く凸であるという仮定の下で証明する。 多くの文脈で、egイメージングの逆問題では、ポテンシャルは非凸で非滑らかである。 Proximal Stochastic Gradient Langevin Algorithm (PSGLA) はそのようなポテンシャルを扱う一般的なアルゴリズムである。 前向きの最適化アルゴリズムと ULA ステップを組み合わせる。 我々の主安定性はモローエンベロープの性質と相まって、非凸ポテンシャルに対するPSGLAの収束の最初の証明を導出することができる。 我々は、合成データと逆問題の画像化の文脈で、我々の方法論を実証的に検証する。 特にPSGLAは, 復元特性を保ちながら後方サンプリングを行うため, 確率勾配ランゲヴィンアルゴリズムよりも高速な収束率を示す。

関連論文リスト

• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• Non-asymptotic analysis of Langevin-type Monte Carlo algorithms [0.0]
  連続性の有限モジュラーを持つギブス分布からサンプリングするランゲヴィン型アルゴリズムについて、必ずしも0に収束しない。 ランゲヴィン・モンテカルロアルゴリズムは、ポテンシャルが散逸し、勾配が一様連続である場合、ギブス分布を任意の精度で近似できることを示す。
  論文  参考訳（メタデータ） (2023-03-22T09:16:17Z)
• Utilising the CLT Structure in Stochastic Gradient based Sampling : Improved Analysis and Faster Algorithms [14.174806471635403]
  粒子ダイナミック(IPD)に対するグラディエント・ランゲヴィン・ダイナミクス(SGLD)やランダムバッチ法(RBM)などのサンプリングアルゴリズムの近似を考察する。 近似によって生じる雑音は中央極限定理(CLT)によりほぼガウス的であるが、ブラウン運動はまさにガウス的である。 この構造を利用して拡散過程内の近似誤差を吸収し、これらのアルゴリズムの収束保証を改善する。
  論文  参考訳（メタデータ） (2022-06-08T10:17:40Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)
• ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
  第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。 我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。 有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)
• Non-Convex Optimization via Non-Reversible Stochastic Gradient Langevin Dynamics [27.097121544378528]
  グラディエント・ランゲヴィン・ダイナミクス (Gradient Langevin Dynamics, SGLD) は、非目的勾配を最適化する強力なアルゴリズムである。 NSGLDは非可逆拡散の離散化に基づいている。
  論文  参考訳（メタデータ） (2020-04-06T17:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。