論文の概要: The Picard-Lagrange Framework for Higher-Order Langevin Monte Carlo
- arxiv url: http://arxiv.org/abs/2510.18242v1
- Date: Tue, 21 Oct 2025 03:04:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:12.829667
- Title: The Picard-Lagrange Framework for Higher-Order Langevin Monte Carlo
- Title（参考訳）: 高階Langevin Monte CarloのためのPicard-Lagrangeフレームワーク
- Authors: Jaideep Mahajan, Kaihong Zhang, Feng Liang, Jingbo Liu,
- Abstract要約: 一般の$K$th-order Langevinダイナミックスに基づく新しいサンプリングアルゴリズムを導入し,2次法および3次法を超えて拡張する。
滑らかで強い対数凹凸密度を持つ対象に対して、ワッサーシュタイン距離における次元依存収束を証明する。
これはそのようなクエリの複雑さを達成する最初のサンプリングアルゴリズムである。
- 参考スコア（独自算出の注目度）: 15.440889897519483
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sampling from log-concave distributions is a central problem in statistics and machine learning. Prior work establishes theoretical guarantees for Langevin Monte Carlo algorithm based on overdamped and underdamped Langevin dynamics and, more recently, some third-order variants. In this paper, we introduce a new sampling algorithm built on a general $K$th-order Langevin dynamics, extending beyond second- and third-order methods. To discretize the $K$th-order dynamics, we approximate the drift induced by the potential via Lagrange interpolation and refine the node values at the interpolation points using Picard-iteration corrections, yielding a flexible scheme that fully utilizes the acceleration of higher-order Langevin dynamics. For targets with smooth, strongly log-concave densities, we prove dimension-dependent convergence in Wasserstein distance: the sampler achieves $\varepsilon$-accuracy within $\widetilde O(d^{\frac{K-1}{2K-3}}\varepsilon^{-\frac{2}{2K-3}})$ gradient evaluations for $K \ge 3$. To our best knowledge, this is the first sampling algorithm achieving such query complexity. The rate improves with the order $K$ increases, yielding better rates than existing first to third-order approaches.
- Abstract（参考訳）: ログ・コンケーブ分布からのサンプリングは統計学と機械学習の中心的な問題である。
以前の研究はランゲヴィン・モンテ・カルロアルゴリズムの理論的な保証を確立しており、ランゲヴィン力学やより最近では、いくつかの三階変種を基礎としている。
本稿では,一般の$K$th-order Langevinのダイナミックスに基づく新しいサンプリングアルゴリズムを提案する。
K$2次力学を離散化するために、ラグランジュ補間によるポテンシャルによるドリフトを近似し、ピカールイテレーション補正を用いて補間点のノード値を洗練し、高次ランゲヴィン力学の加速度をフル活用するフレキシブルなスキームを得る。
滑らかで強い対数密度を持つ対象に対しては、ワッサーシュタイン距離における次元依存収束を証明し、サンプルは$\widetilde O(d^{\frac{K-1}{2K-3}}\varepsilon^{-\frac{2}{2K-3}})$K \ge 3$の勾配評価を行う。
我々の知る限り、このようなクエリの複雑さを実現する最初のサンプリングアルゴリズムである。
このレートはK$の増加とともに改善され、既存のファースト・ツー・サード・オーダーのアプローチよりも高いレートとなる。
関連論文リスト
- High-Order Langevin Monte Carlo Algorithms [3.4106874887901437]
ランゲヴィンアルゴリズムは大規模なサンプリング問題に対するマルコフ連鎖モンテカルロ (MCMC) 法として人気がある。
我々は,P$-th次ランゲヴィン・モンテカルロ(LMC)アルゴリズムを,P$-th次ランゲヴィン・ダイナミクスの離散化に基づいて提案する。
対数凹凸と滑らかな密度を持つ分布からサンプリングするワッサーシュタイン収束保証を得る。
論文 参考訳（メタデータ） (2025-08-24T22:37:44Z) - Underdamped Langevin MCMC with third order convergence [1.8374319565577153]
アンダーダム型ランゲヴィン拡散(ULD)のための新しい数値計算法を提案する。
f$の勾配とヘシアンがリプシッツ連続であるという仮定の下で、我々のアルゴリズムは2-ワッサーシュタイン誤差を$varepsilon$ in $mathcalO(sqrtd/varepsilon)$ steps とする。
これは、3次収束を持つLDDのための最初の勾配のみの方法である。
論文 参考訳（メタデータ） (2025-08-22T16:00:01Z) - Mirror Descent Algorithms with Nearly Dimension-Independent Rates for
Differentially-Private Stochastic Saddle-Point Problems [6.431793114484429]
多面体設定における微分プライベートなサドル点の問題を解くために、$sqrtlog(d)/sqrtn + log(d)/[nvarepsilon]2/5$を提案する。
我々のアルゴリズムは、一定の成功率で$sqrtlog(d)/sqrtn + log(d)/[nvarepsilon]2/5$に達することを示す。
論文 参考訳（メタデータ） (2024-03-05T12:28:00Z) - ReSQueing Parallel and Private Stochastic Convex Optimization [59.53297063174519]
本稿では,BFG凸最適化(SCO: Reweighted Query (ReSQue) 推定ツールを提案する。
我々はSCOの並列およびプライベート設定における最先端の複雑さを実現するアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-01-01T18:51:29Z) - Explicit Second-Order Min-Max Optimization: Practical Algorithms and Complexity Analysis [71.05708939639537]
本研究では,非制約問題に対するグローバルなサドル点を求めるために,不正確なNewton型手法をいくつか提案し,解析する。
提案手法は,Sur分解の必要回数の$O(log(1/eps)$因子をシェービングすることで,既存のライン検索に基づくmin-max最適化を改善する。
論文 参考訳（メタデータ） (2022-10-23T21:24:37Z) - Quantum Algorithms for Sampling Log-Concave Distributions and Estimating
Normalizing Constants [8.453228628258778]
我々は,対数凹分布をサンプリングし,正規化定数を推定するための量子アルゴリズムを開発した。
我々はモンテカルロ法と量子ウォークの量子アナログを利用する。
また、正規化定数を推定するための1/epsilon1-o(1)$量子下界も証明する。
論文 参考訳（メタデータ） (2022-10-12T19:10:43Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳（メタデータ） (2022-03-30T11:39:00Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - Convergence of Langevin Monte Carlo in Chi-Squared and Renyi Divergence [8.873449722727026]
推定値である$widetildemathcalO(depsilon-1)$が,これらの測定値の既知レートを改善することを示す。
特に凸および1次滑らかなポテンシャルについて、LCCアルゴリズムは、これらの測定値の既知率を改善するために$widetildemathcalO(depsilon-1)$を推定する。
論文 参考訳（メタデータ） (2020-07-22T18:18:28Z) - Second-Order Information in Non-Convex Stochastic Optimization: Power
and Limitations [54.42518331209581]
私たちは発見するアルゴリズムを見つけます。
epsilon$-approximate stationary point ($|nabla F(x)|le epsilon$) using
$(epsilon,gamma)$surimateランダムランダムポイント。
ここでの私たちの下限は、ノイズのないケースでも新規です。
論文 参考訳（メタデータ） (2020-06-24T04:41:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。