論文の概要: Accelerated Markov Chain Monte Carlo Algorithms on Discrete States
- arxiv url: http://arxiv.org/abs/2505.12599v1
- Date: Mon, 19 May 2025 01:29:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:11.335578
- Title: Accelerated Markov Chain Monte Carlo Algorithms on Discrete States
- Title（参考訳）: 離散状態におけるマルコフ連鎖モンテカルロアルゴリズムの高速化
- Authors: Bohan Zhou, Shu Liu, Xinzhe Zuo, Wuchen Li,
- Abstract要約: 我々はNesterovの高速化勾配法に基づく離散状態サンプリングアルゴリズムのクラスを提案する。
ポテンシャルとモビリティの一般的な選択によるアルゴリズムの拡張についても論じる。
- 参考スコア（独自算出の注目度）: 9.848824268246283
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a class of discrete state sampling algorithms based on Nesterov's accelerated gradient method, which extends the classical Metropolis-Hastings (MH) algorithm. The evolution of the discrete states probability distribution governed by MH can be interpreted as a gradient descent direction of the Kullback--Leibler (KL) divergence, via a mobility function and a score function. Specifically, this gradient is defined on a probability simplex equipped with a discrete Wasserstein-2 metric with a mobility function. This motivates us to study a momentum-based acceleration framework using damped Hamiltonian flows on the simplex set, whose stationary distribution matches the discrete target distribution. Furthermore, we design an interacting particle system to approximate the proposed accelerated sampling dynamics. The extension of the algorithm with a general choice of potentials and mobilities is also discussed. In particular, we choose the accelerated gradient flow of the relative Fisher information, demonstrating the advantages of the algorithm in estimating discrete score functions without requiring the normalizing constant and keeping positive probabilities. Numerical examples, including sampling on a Gaussian mixture supported on lattices or a distribution on a hypercube, demonstrate the effectiveness of the proposed discrete-state sampling algorithm.
- Abstract（参考訳）: 本研究では,従来のメトロポリス・ハスティングス(MH)アルゴリズムを拡張したNesterovの高速化勾配法に基づく離散状態サンプリングアルゴリズムを提案する。
MHが支配する離散状態確率分布の進化は、モビリティ関数とスコア関数を介して、KL(Kulback-Leibler)分散の勾配降下方向と解釈できる。
具体的には、この勾配は、モビリティ関数を持つ離散ワッサーシュタイン-2計量を備えた確率単純度上で定義される。
このことは、定常分布が離散的対象分布と一致するような単純集合上の減衰ハミルトン流を用いた運動量に基づく加速フレームワークの研究を動機付けている。
さらに,提案した加速サンプリング力学を近似する相互作用粒子系を設計する。
ポテンシャルとモビリティの一般的な選択によるアルゴリズムの拡張についても論じる。
特に,相対的なフィッシャー情報の加速度勾配流を選択し,正規化定数を必要とせず,正の確率を維持することなく離散的なスコア関数を推定するアルゴリズムの利点を実証する。
格子上に支持されたガウス混合物のサンプリングやハイパーキューブ上の分布などの数値例は、提案した離散状態サンプリングアルゴリズムの有効性を示す。
関連論文リスト
- Semi-Implicit Functional Gradient Flow for Efficient Sampling [30.32233517392456]
本稿では,ガウス雑音を近似系とする摂動粒子を用いた関数勾配ParVI法を提案する。
ニューラルネットワークと一致するスコアをデノナイズすることで推定できる機能的勾配流は,強い理論的収束保証を示す。
さらに,サンプリング中の適切な雑音の大きさを自動的に選択する適応バージョンを提案する。
論文 参考訳（メタデータ） (2024-10-23T15:00:30Z) - Harmonic Path Integral Diffusion [0.4527270266697462]
本稿では,連続多変量確率分布から抽出する新しい手法を提案する。
本手法では,状態空間の起点を中心とするデルタ関数を$t=0$とし,ターゲット分布に$t=1$で変換する。
これらのアルゴリズムは他のサンプリング手法、特にシミュレートおよびパス積分サンプリングと対比し、解析制御、精度、計算効率の点でそれらの利点を強調した。
論文 参考訳（メタデータ） (2024-09-23T16:20:21Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文 参考訳（メタデータ） (2023-08-28T23:51:33Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。
難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
論文 参考訳（メタデータ） (2023-06-13T17:56:02Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。
提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
論文 参考訳（メタデータ） (2021-10-07T17:51:10Z) - Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。
本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。
本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文 参考訳（メタデータ） (2021-02-04T02:21:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。