論文の概要: Hamiltonian Monte Carlo with Asymmetrical Momentum Distributions
- arxiv url: http://arxiv.org/abs/2110.12907v1
- Date: Thu, 21 Oct 2021 18:36:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-26 15:46:47.277756
- Title: Hamiltonian Monte Carlo with Asymmetrical Momentum Distributions
- Title(参考訳): 非対称モーメント分布を持つハミルトンモンテカルロ
- Authors: Soumyadip Ghosh, Yingdong Lu, Tomasz Nowicki
- Abstract要約: ハミルトンモンテカルロ (HMC) アルゴリズムに対する新しい収束解析法を提案する。
非対称運動量分布を持つ平らなHMCが重要な自己随伴性要件を破ることを示す。
我々は Alternating Direction HMC (AD-HMC) と呼ばれる改良版を提案する。
- 参考スコア(独自算出の注目度): 3.562271099341746
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing rigorous convergence guarantees for the Hamiltonian Monte Carlo
(HMC) algorithm use Gaussian auxiliary momentum variables, which are crucially
symmetrically distributed.
We present a novel convergence analysis for HMC utilizing new analytic and
probabilistic arguments. The convergence is rigorously established under
significantly weaker conditions, which among others allow for general auxiliary
distributions.
In our framework, we show that plain HMC with asymmetrical momentum
distributions breaks a key self-adjointness requirement. We propose a modified
version that we call the Alternating Direction HMC (AD-HMC). Sufficient
conditions are established under which AD-HMC exhibits geometric convergence in
Wasserstein distance. Numerical experiments suggest that AD-HMC can show
improved performance over HMC with Gaussian auxiliaries.
- Abstract(参考訳): 既存のハミルトニアンモンテカルロ (HMC) アルゴリズムの厳密な収束保証は、重要な対称分布であるガウス補助運動量変数を使用する。
本稿では,新しい解析的および確率的議論を用いたHMCの収束解析について述べる。
この収束は、より弱い条件下で厳密に確立され、その他は一般の補助分布を許容する。
本研究では,非対称運動量分布をもつ平板HMCが重要な自己随伴性要件を破ることを示す。
本稿では, Alternating Direction HMC (AD-HMC) と呼ばれる改良版を提案する。
十分条件は、ad-hmcがwasserstein距離で幾何収束を示す下で確立される。
数値実験により、AD-HMCはガウス補助体を用いたHMCよりも優れた性能を示すことが示唆された。
関連論文リスト
- Repelling-Attracting Hamiltonian Monte Carlo [0.8158530638728501]
我々は、ハミルトニアンモンテカルロの変種(Repelling-Attracting Hamiltonian Monte Carlo (RAHMC))を提案する。
RAHMCには2つのステージがある: サンプルが高確率密度の領域から遠ざかるように促すモード推進段階と、サンプルが代替モードに近づいたり落ち着いたりするためのモード抽出段階である。
論文 参考訳(メタデータ) (2024-03-07T15:54:55Z) - Non-asymptotic Convergence of Discrete-time Diffusion Models: New
Approach and Improved Rate [54.596887384531236]
我々は離散時間拡散モデルの下で、分布のかなり大きなクラスに対する収束保証を確立する。
パラメータ依存を明示した分布の興味深いクラスに対して,結果の専門化を行う。
本稿では,新しい加速サンプリング器を提案し,対応する正則サンプリング器の収束率を桁違いに向上することを示す。
論文 参考訳(メタデータ) (2024-02-21T16:11:47Z) - Randomized Physics-Informed Machine Learning for Uncertainty
Quantification in High-Dimensional Inverse Problems [49.1574468325115]
本研究では,高次元逆問題における不確実性定量化のための物理インフォームド機械学習手法を提案する。
我々は解析的に、そして、ハミルトン・モンテカルロとの比較を通して、rPICKLE はベイズ則によって与えられる真の後続に収束することを示す。
論文 参考訳(メタデータ) (2023-12-11T07:33:16Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳(メタデータ) (2023-12-02T13:01:29Z) - On the convergence of dynamic implementations of Hamiltonian Monte Carlo
and No U-Turn Samplers [10.3746158091354]
我々は、動的MCと呼ばれるMCMCアルゴリズムの一般クラスを考える。
この一般的なフレームワークは、特定のケースとしてNUTSを包含していることを示す。
HMCに類似した条件下では、NUTSは幾何学的にエルゴード的であることも示している。
論文 参考訳(メタデータ) (2023-07-07T08:44:33Z) - When does Metropolized Hamiltonian Monte Carlo provably outperform
Metropolis-adjusted Langevin algorithm? [4.657614491309671]
本研究では, 磁化ハミルトン・モンテカルロ (HMC) と跳躍フロッグ積分器の混合時間について解析した。
連続HMC力学の離散化における位置と速度変数の結合分布は, ほぼ不変であることを示す。
論文 参考訳(メタデータ) (2023-04-10T17:35:57Z) - Simultaneous Transport Evolution for Minimax Equilibria on Measures [48.82838283786807]
最小限の最適化問題は、敵対的学習や生成的モデリングなど、いくつかの重要な機械学習設定で発生する。
この研究では、代わりに混合平衡を見つけることに集中し、関連する持ち上げ問題を確率測度の空間で考察する。
エントロピー正則化を加えることで、我々の主な成果はグローバル均衡へのグローバル収束を確立する。
論文 参考訳(メタデータ) (2022-02-14T02:23:16Z) - Entropy-based adaptive Hamiltonian Monte Carlo [19.358300726820943]
ハミルトニアン・モンテカルロ(Hachian Monte Carlo, HMC)は、マルコフ・チェイン・モンテカルロ(MCMC)アルゴリズムの一種。
跳躍式積分器は一般にHMCの実装に使用されるが、その性能は質量行列の選択に敏感である。
我々は,跳躍フロッグ積分器を高い受入率で促進することにより,質量行列の適応を可能にする勾配に基づくアルゴリズムを開発した。
論文 参考訳(メタデータ) (2021-10-27T17:52:55Z) - Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth
Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。
定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。
我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
論文 参考訳(メタデータ) (2021-06-30T18:32:46Z) - What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。
また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
論文 参考訳(メタデータ) (2021-04-29T15:38:46Z) - Scaling Hamiltonian Monte Carlo Inference for Bayesian Neural Networks
with Symmetric Splitting [6.684193501969829]
ハミルトニアン・モンテカルロ(英: Hamiltonian Monte Carlo、HMC)は、マルコフ連鎖モンテカルロのアプローチであり、ニューラルネットワークのような高次元モデルにおいて好ましい探索特性を示す。
対称勾配に依存しない分割HMCに対する新たな積分方式を導入する。
提案手法は,大規模機械学習問題に対する推論スキームを考慮した場合,HMCを実現可能な選択肢として示す。
論文 参考訳(メタデータ) (2020-10-14T01:58:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。