論文の概要: Tail-Sensitive KL and Rényi Convergence of Unadjusted Hamiltonian Monte Carlo via One-Shot Couplings
- arxiv url: http://arxiv.org/abs/2601.09019v1
- Date: Tue, 13 Jan 2026 22:39:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-15 18:59:20.188642
- Title: Tail-Sensitive KL and Rényi Convergence of Unadjusted Hamiltonian Monte Carlo via One-Shot Couplings
- Title(参考訳): 単ショットカップリングによる非調整ハミルトニアンモンテカルロのTail-Sensitive KLとRényi Convergence
- Authors: Nawaf Bou-Rabee, Siddharth Mitra, Andre Wibisono,
- Abstract要約: We developed a framework for upgrade Wasserstein convergence guarantees for unadjusted HMC algorithm to guarantees in tail-sensitive KL and Rényi divergences。
結果は, 相対密度ミスマッチの定量的制御, 強い発散における離散化バイアスの役割を明らかにするとともに, 無調整サンプリングとメトロポリス調整マルコフ連鎖の温暖開始の両方に関係した保証を提供する。
- 参考スコア(独自算出の注目度): 9.926709161663053
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hamiltonian Monte Carlo (HMC) algorithms are among the most widely used sampling methods in high dimensional settings, yet their convergence properties are poorly understood in divergences that quantify relative density mismatch, such as Kullback-Leibler (KL) and Rényi divergences. These divergences naturally govern acceptance probabilities and warm-start requirements for Metropolis-adjusted Markov chains. In this work, we develop a framework for upgrading Wasserstein convergence guarantees for unadjusted Hamiltonian Monte Carlo (uHMC) to guarantees in tail-sensitive KL and Rényi divergences. Our approach is based on one-shot couplings, which we use to establish a regularization property of the uHMC transition kernel. This regularization allows Wasserstein-2 mixing-time and asymptotic bias bounds to be lifted to KL divergence, and analogous Orlicz-Wasserstein bounds to be lifted to Rényi divergence, paralleling earlier work of Bou-Rabee and Eberle (2023) that upgrade Wasserstein-1 bounds to total variation distance via kernel smoothing. As a consequence, our results provide quantitative control of relative density mismatch, clarify the role of discretization bias in strong divergences, and yield principled guarantees relevant both for unadjusted sampling and for generating warm starts for Metropolis-adjusted Markov chains.
- Abstract(参考訳): ハミルトンモンテカルロ (HMC) アルゴリズムは高次元設定において最も広く用いられているサンプリング手法であるが、それらの収束特性はクルバック・リーブラー (KL) やレニイ・ダイバージェンス (Rényi divergences) のような相対密度ミスマッチの定量化にはあまり理解されていない。
これらの分岐は自然にメトロポリス調整マルコフ鎖の受容確率と温開始要求を支配している。
そこで本研究では,調整されていないハミルトニアンモンテカルロ(uHMC)に対するワッサーシュタイン収束保証を改良し,テールセンシティブなKLとレニイの発散を保証するフレームワークを開発する。
提案手法は,uHMCトランジションカーネルの正規化特性を確立するために用いられるワンショット結合に基づいている。
この正規化により、ワッサーシュタイン2の混合時間と漸近バイアス境界はKL分散に持ち上げられ、類似のオルリッツ=ワッサースタイン境界はレニ微分に持ち上げられ、バウ=ラビーとエベル(2023年)の以前の研究と並行して、ワッサースタイン1の領域をカーネル平滑化によって全変動距離にアップグレードする。
その結果, 相対密度のミスマッチを定量的に制御し, 強い発散における離散化バイアスの役割を明らかにするとともに, 未調整サンプリングとメトロポリス調整マルコフ連鎖の温暖開始の両方に関係する原理的保証を得ることができた。
関連論文リスト
- Statistical and Geometrical properties of regularized Kernel Kullback-Leibler divergence [7.273481485032721]
Bach [2022] が導入したカーネル共分散作用素によるクルバック・リーブラ発散の統計的および幾何学的性質について検討する。
密度比を含む古典的なクルバック・リーブラー(KL)の発散とは異なり、KKLは再現可能なカーネルヒルベルト空間(RKHS)における共分散作用素(埋め込み)による確率分布を比較する。
この斬新な発散は、確率分布と最大平均誤差のようなカーネル埋め込みメトリクスの間の標準のクルバック・リーバーと平行だが異なる側面を共有する。
論文 参考訳(メタデータ) (2024-08-29T14:01:30Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - When does Metropolized Hamiltonian Monte Carlo provably outperform
Metropolis-adjusted Langevin algorithm? [4.657614491309671]
本研究では, 磁化ハミルトン・モンテカルロ (HMC) と跳躍フロッグ積分器の混合時間について解析した。
連続HMC力学の離散化における位置と速度変数の結合分布は, ほぼ不変であることを示す。
論文 参考訳(メタデータ) (2023-04-10T17:35:57Z) - Targeted Separation and Convergence with Kernel Discrepancies [61.973643031360254]
カーネルベースの不一致測度は、(i)ターゲットPを他の確率測度から分離するか、(ii)Pへの弱収束を制御する必要がある。
本稿では, (i) と (ii) を保証するのに十分な,必要な新しい条件を導出する。
可分距離空間上のMDDに対して、ボヒナー埋め込み可測度を分離するカーネルを特徴づけ、すべての測度を非有界カーネルと分離するための単純な条件を導入する。
論文 参考訳(メタデータ) (2022-09-26T16:41:16Z) - Metropolis Monte Carlo sampling: convergence, localization transition
and optimality [0.0]
目標定常分布からの偏差は局所化遷移を特徴とすることを示す。
局所化移行前後の緩和は拡散率と拒絶率によってそれぞれ制限されていると論じる。
論文 参考訳(メタデータ) (2022-07-21T14:06:04Z) - Hamiltonian Monte Carlo with Asymmetrical Momentum Distributions [3.562271099341746]
ハミルトンモンテカルロ (HMC) アルゴリズムに対する新しい収束解析法を提案する。
非対称運動量分布を持つ平らなHMCが重要な自己随伴性要件を破ることを示す。
我々は Alternating Direction HMC (AD-HMC) と呼ばれる改良版を提案する。
論文 参考訳(メタデータ) (2021-10-21T18:36:19Z) - Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth
Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。
定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。
我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
論文 参考訳(メタデータ) (2021-06-30T18:32:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。