論文の概要: Dimension-Independent Convergence of Underdamped Langevin Monte Carlo in KL Divergence
- arxiv url: http://arxiv.org/abs/2603.02429v1
- Date: Mon, 02 Mar 2026 22:14:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-04 21:38:10.560291
- Title: Dimension-Independent Convergence of Underdamped Langevin Monte Carlo in KL Divergence
- Title（参考訳）: KLディバージェンスにおけるアンダーダム型ランゲバンモンテカルロの次元非依存収束
- Authors: Shiyuan Zhang, Qiwei Di, Xuheng Li, Quanquan Gu,
- Abstract要約: Underdamped Langevin dynamics (ULD) は Gibbs 分布の$propto e-V$ に広く使われているサンプルである。
離散化LDDにおける最初の次元自由なKL分散境界を証明した。
- 参考スコア（独自算出の注目度）: 50.719298242863744
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Underdamped Langevin dynamics (ULD) is a widely-used sampler for Gibbs distributions $π\propto e^{-V}$, and is often empirically effective in high dimensions. However, existing non-asymptotic convergence guarantees for discretized ULD typically scale polynomially with the ambient dimension $d$, leading to vacuous bounds when $d$ is large. The main known dimension-free result concerns the randomized midpoint discretization in Wasserstein-2 distance (Liu et al.,2023), while dimension-independent guarantees for ULD discretizations in KL divergence have remained open. We close this gap by proving the first dimension-free KL divergence bounds for discretized ULD. Our analysis refines the KL local error framework (Altschuler et al., 2025) to a dimension-free setting and yields bounds that depend on $\mathrm{tr}(\mathbf{H})$, where $\mathbf{H}$ upper bounds the Hessian of $V$, rather than on $d$. As a consequence, we obtain improved iteration complexity for underdamped Langevin Monte Carlo relative to overdamped Langevin methods in regimes where $\mathrm{tr}(\mathbf{H})\ll d$.
- Abstract（参考訳）: アンダーダムド・ランゲヴィン力学(Underdamped Langevin dynamics,ULD)は、ギブス分布の広く使われているサンプルであり、しばしば高次元において経験的に有効である。
しかし、既存の非漸近収束保証は、離散化された ULD に対して、通常、周囲次元$d$ と多項式的にスケールし、$d$ が大きければ空境界となる。
主な既知次元自由度は、Wasserstein-2 距離におけるランダム化中点離散化(Liu et al ,2023)に関するものであるが、KL の発散における ULD 離散化の次元非依存的な保証は未解決のままである。
離散化LDのための第1次元自由KL分散境界を証明することによって、このギャップを埋める。
我々の分析は、KL局所誤差フレームワーク(Altschuler et al , 2025)を次元自由な設定に洗練し、$\mathrm{tr}(\mathbf{H})$に依存する境界を与える。
その結果、$\mathrm{tr}(\mathbf{H})\ll d$ の政権における過大なランゲヴィン法と比較して、アンダーダムのランゲヴィン・モンテカルロに対して、改良された反復複雑性が得られる。
関連論文リスト
- Low-degree Lower bounds for clustering in moderate dimension [53.03724383992195]
我々は、$n$点を$K$群にクラスタリングする根本的な問題を、$mathbbRd$における等方ガウスの混合から引き出された。
我々は、$n leq dK$のクラスタリングの難しさは次元の縮小とスペクトル法によって引き起こされるが、中等次元のレジームはより微妙な現象を伴い、「非最適率」につながることを示した。
我々は、この速度にマッチする新しい非スペクトルアルゴリズムを提案し、中等次元のクラスタリング問題の計算限界に新しい光を当てる。
論文 参考訳（メタデータ） (2026-02-26T14:03:55Z) - Poisson Midpoint Method for Log Concave Sampling: Beyond the Strong Error Lower Bounds [7.350138378074856]
過度に損傷/破壊されたランゲヴィン力学の中間点離散化を用いた$mathbbRd$上の強対数分布からのサンプリング問題について検討する。
2-ワッサーシュタイン距離(W$)における収束性を証明し、オイラー・丸山離散化に対する目標精度(epsilon$)に依存して立方体スピードアップを達成する。
特に、アンダーダムングランゲヴィン力学の場合、$W$収束の複雑さは$L2$の収束の複雑さの下限よりもはるかに小さいことを示す。
論文 参考訳（メタデータ） (2025-06-09T10:27:15Z) - Nearly Dimension-Independent Convergence of Mean-Field Black-Box Variational Inference [40.00392382788829]
ブラックボックスの変分推論は、明示的な次元依存からほぼ独立な速度で収束することを示す。
また, 対象対数密度のヘシアンスペクトル境界のみを用いて, 結果の鍵となる分散勾配の境界を改善できないことも証明した。
論文 参考訳（メタデータ） (2025-05-27T20:08:28Z) - Linear Convergence of Diffusion Models Under the Manifold Hypothesis [5.040884755454258]
クルバック・リーブラー(KL)の発散に収束するステップの数は、内在次元$Leid$における線型(対数項まで)であることが示される。
また、この線形依存は鋭いことを示す。
論文 参考訳（メタデータ） (2024-10-11T17:58:30Z) - Convergence of Unadjusted Langevin in High Dimensions: Delocalization of Bias [21.64772960240025]
問題の次元が$d$になるにつれて、所望の誤差内で収束を保証するのに必要なイテレーションの数が増加することを示す。
私たちが取り組んだ重要な技術的課題は、収束を測定するための$W_2,ellinfty$メートル法に一段階の縮約性がないことである。
論文 参考訳（メタデータ） (2024-08-20T01:24:54Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Efficient Sampling on Riemannian Manifolds via Langevin MCMC [51.825900634131486]
本稿では,Gibs 分布 $d pi* = eh d vol_g$ over aian manifold $M$ via (geometric) Langevin MCMC。
この結果は、$pi*$ が非指数的であり、$Mh$ が負のリッチ曲率を持つような一般的な設定に適用できる。
論文 参考訳（メタデータ） (2024-02-15T22:59:14Z) - Condition-number-independent Convergence Rate of Riemannian Hamiltonian
Monte Carlo with Numerical Integrators [22.49731518828916]
我々は、$m制約のあるポリトープ上の$e-alphatopx$の形式での分布に対して、一般的に使用される$の族の収束率は、$leftVert alpharightVert$とポリトープの幾何学とは独立であることを示す。
これらの保証は、多様体と積分子のパラメータの項で$e-f(x)$という形の密度の収束率の一般境界に基づいている。
論文 参考訳（メタデータ） (2022-10-13T17:46:51Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - Convergence of Langevin Monte Carlo in Chi-Squared and Renyi Divergence [8.873449722727026]
推定値である$widetildemathcalO(depsilon-1)$が,これらの測定値の既知レートを改善することを示す。
特に凸および1次滑らかなポテンシャルについて、LCCアルゴリズムは、これらの測定値の既知率を改善するために$widetildemathcalO(depsilon-1)$を推定する。
論文 参考訳（メタデータ） (2020-07-22T18:18:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。