論文の概要: Sampling from high-dimensional, multimodal distributions using automatically tuned, tempered Hamiltonian Monte Carlo
- arxiv url: http://arxiv.org/abs/2111.06871v2
- Date: Wed, 28 Aug 2024 18:38:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-01 17:12:14.474255
- Title: Sampling from high-dimensional, multimodal distributions using automatically tuned, tempered Hamiltonian Monte Carlo
- Title(参考訳): 自動調整された温められたハミルトンモンテカルロを用いた高次元マルチモーダル分布からのサンプリング
- Authors: Joonha Park,
- Abstract要約: ハミルトニアン・モンテカルロ (HMC) は確率密度が比例的に知られている高次元対象分布のサンプリングに広く用いられている。
伝統的テンパリング法は、特に高次元においてチューニングが困難である。
本研究では,高次元の強いマルチモーダル分布からの効率的なサンプリングを可能にするため,テンパリング戦略をハミルトンモンテカルロと組み合わせる手法を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hamiltonian Monte Carlo (HMC) is widely used for sampling from high-dimensional target distributions with probability density known up to proportionality. While HMC possesses favorable dimension scaling properties, it encounters challenges when applied to strongly multimodal distributions. Traditional tempering methods, commonly used to address multimodality, can be difficult to tune, particularly in high dimensions. In this study, we propose a method that combines a tempering strategy with Hamiltonian Monte Carlo, enabling efficient sampling from high-dimensional, strongly multimodal distributions. Our approach involves proposing candidate states for the constructed Markov chain by simulating Hamiltonian dynamics with time-varying mass, thereby searching for isolated modes at unknown locations. Moreover, we develop an automatic tuning strategy for our method, resulting in an automatically-tuned, tempered Hamiltonian Monte Carlo (ATHMC). Unlike simulated tempering or parallel tempering methods, ATHMC provides a distinctive advantage in scenarios where the target distribution changes at each iteration, such as in the Gibbs sampler. We numerically show that our method scales better with increasing dimensions than an adaptive parallel tempering method and demonstrate its efficacy for a variety of target distributions, including mixtures of log-polynomial densities and Bayesian posterior distributions for a sensor network self-localization problem.
- Abstract(参考訳): ハミルトニアン・モンテカルロ (HMC) は確率密度が比例的に知られている高次元対象分布のサンプリングに広く用いられている。
HMCは良好な次元スケーリング特性を持つが、強いマルチモーダル分布に適用する際の課題に直面する。
伝統的テンパリング法は、特に高次元においてチューニングが困難である。
本研究では,ハミルトン・モンテカルロとテンパリング戦略を組み合わせ,高次元・強多重モード分布からの効率的なサンプリングを可能にする手法を提案する。
我々のアプローチは、ハミルトン力学を時間変化質量でシミュレートし、未知の場所で孤立モードを求めることにより、構築されたマルコフ連鎖の候補状態を提案することである。
さらに,本手法の自動チューニング戦略を開発し,自動調整されたハミルトンモンテカルロ (ATHMC) を実現する。
模擬テンパリング法や並列テンパリング法とは異なり、ATHMCはギブスサンプリングのような各イテレーションでターゲット分布が変化するシナリオにおいて、顕著な利点を提供する。
本手法は適応並列テンパリング法よりも寸法の増大に優れており,センサネットワークの自己局在化問題に対する対数多項式密度とベイズ分布の混合を含む,様々な対象分布に対する有効性を示す。
関連論文リスト
- Repelling-Attracting Hamiltonian Monte Carlo [0.8158530638728501]
我々は、ハミルトニアンモンテカルロの変種(Repelling-Attracting Hamiltonian Monte Carlo (RAHMC))を提案する。
RAHMCには2つのステージがある: サンプルが高確率密度の領域から遠ざかるように促すモード推進段階と、サンプルが代替モードに近づいたり落ち着いたりするためのモード抽出段階である。
論文 参考訳(メタデータ) (2024-03-07T15:54:55Z) - Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2~5倍の速さでトレーニングを行う。
論文 参考訳(メタデータ) (2024-02-09T01:11:23Z) - Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。
画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
論文 参考訳(メタデータ) (2023-11-02T02:05:38Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - Normalizing flow sampling with Langevin dynamics in the latent space [12.91637880428221]
正規化フロー(NF)は、連続生成器を使用して、単純な潜伏分布(例えばガウス分布)をトレーニングデータセットに関連する経験的対象分布にマッピングする。
標準NFは可微分写像を実装しているため、複雑な分布を対象とする場合、病理学的挙動に悩まされることがある。
本稿では,マルコフ連鎖モンテカルロアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-05-20T09:31:35Z) - Sampling with Mollified Interaction Energy Descent [57.00583139477843]
モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。
MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する
我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
論文 参考訳(メタデータ) (2022-10-24T16:54:18Z) - GeoDiff: a Geometric Diffusion Model for Molecular Conformation
Generation [102.85440102147267]
分子配座予測のための新しい生成モデルGeoDiffを提案する。
GeoDiffは、既存の最先端のアプローチよりも優れているか、あるいは同等であることを示す。
論文 参考訳(メタデータ) (2022-03-06T09:47:01Z) - A blob method method for inhomogeneous diffusion with applications to
multi-agent control and sampling [0.6562256987706128]
重み付き多孔質媒質方程式(WPME)に対する決定論的粒子法を開発し,その収束性を時間間隔で証明する。
提案手法は,マルチエージェントカバレッジアルゴリズムや確率測定のサンプリングに自然に応用できる。
論文 参考訳(メタデータ) (2022-02-25T19:49:05Z) - Entropy-based adaptive Hamiltonian Monte Carlo [19.358300726820943]
ハミルトニアン・モンテカルロ(Hachian Monte Carlo, HMC)は、マルコフ・チェイン・モンテカルロ(MCMC)アルゴリズムの一種。
跳躍式積分器は一般にHMCの実装に使用されるが、その性能は質量行列の選択に敏感である。
我々は,跳躍フロッグ積分器を高い受入率で促進することにより,質量行列の適応を可能にする勾配に基づくアルゴリズムを開発した。
論文 参考訳(メタデータ) (2021-10-27T17:52:55Z) - Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。
本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。
本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文 参考訳(メタデータ) (2021-02-04T02:21:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。