論文の概要: Toward Unlimited Self-Learning MCMC with Parallel Adaptive Annealing
- arxiv url: http://arxiv.org/abs/2211.14024v2
- Date: Wed, 20 Sep 2023 01:17:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-22 00:47:30.477501
- Title: Toward Unlimited Self-Learning MCMC with Parallel Adaptive Annealing
- Title（参考訳）: 並列適応アニーリングによる無制限自己学習MCMCの実現に向けて
- Authors: Yuma Ichikawa, Akira Nakagawa, Hiromoto Masayuki, Yuhei Umeda
- Abstract要約: 近年,機械学習モデルを用いてマルコフ連鎖モンテカルロ法(MCMC)を高速化するために,自己学習モンテカルロ法(SLMC)が提案されている。
潜在生成モデルでは、SLMC法は自己相関の少ない効率的なモンテカルロ更新を実現する。
しかし、SLMC法は、訓練データが得られにくいマルチモーダル分布に直接適用することは困難である。
- 参考スコア（独自算出の注目度）: 4.156535226615696
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-learning Monte Carlo (SLMC) methods are recently proposed to accelerate
Markov chain Monte Carlo (MCMC) methods using a machine learning model. With
latent generative models, SLMC methods realize efficient Monte Carlo updates
with less autocorrelation. However, SLMC methods are difficult to directly
apply to multimodal distributions for which training data are difficult to
obtain. To solve the limitation, we propose parallel adaptive annealing, which
makes SLMC methods directly apply to multimodal distributions with a gradually
trained proposal while annealing target distribution. Parallel adaptive
annealing is based on (i) sequential learning with annealing to inherit and
update the model parameters, (ii) adaptive annealing to automatically detect
under-learning, and (iii) parallel annealing to mitigate mode collapse of
proposal models. We also propose VAE-SLMC method which utilizes a variational
autoencoder (VAE) as a proposal of SLMC to make efficient parallel proposals
independent of any previous state using recently clarified quantitative
properties of VAE. Experiments validate that our method can proficiently obtain
accurate samples from multiple multimodal toy distributions and practical
multimodal posterior distributions, which is difficult to achieve with the
existing SLMC methods.
- Abstract（参考訳）: 近年,機械学習モデルを用いてマルコフ連鎖モンテカルロ法(MCMC)を高速化するために,自己学習モンテカルロ法(SLMC)が提案されている。
潜在生成モデルでは、SLMC法は自己相関の少ない効率的なモンテカルロ更新を実現する。
しかし、SLMC法は、訓練データが得られにくいマルチモーダル分布に直接適用することは困難である。
この制限を解決するために,SLMC法を直接マルチモーダル分布に適用する並列適応型アニール法を提案する。
並列適応焼鈍は
(i)モデルパラメータの継承と更新のためのアニーリングによる逐次学習。
(ii)学習不足を自動的に検知する適応的アニーリング、
(iii)提案モデルのモード崩壊を緩和するための並列アニーリング
また, 変分オートエンコーダ(VAE)をSLMCの提案として用いて, VAEの最近の定量特性を用いて, 従来状態とは無関係に効率的な並列提案を行うVAE-SLMC法を提案する。
実験により,マルチモーダル玩具分布と実用的マルチモーダル後方分布から高精度なサンプルを得ることができ,既存のslmc法では達成が困難であることを確認した。
関連論文リスト
- Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。
オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。
このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
論文 参考訳（メタデータ） (2024-11-04T16:12:37Z) - AutoStep: Locally adaptive involutive MCMC [51.186543293659376]
AutoStep MCMCは、ターゲット分布の局所幾何学に適合したイテレーション毎に適切なステップサイズを選択する。
本稿では,AutoStep MCMCが,単位コスト当たりの有効サンプルサイズの観点から,最先端の手法と競合することを示す。
論文 参考訳（メタデータ） (2024-10-24T17:17:11Z) - Convergence Acceleration of Markov Chain Monte Carlo-based Gradient
Descent by Deep Unfolding [5.584060970507506]
本研究では,深部展開法(deep unfolding)と呼ばれる深部学習手法を用いて,最適化問題(COP)のトレーニング可能なサンプリングベース解法を提案する。
提案手法は,マルコフ鎖モンテカルロ(MCMC)と勾配勾配を結合したオオゼキ法に基づいている。
数個のCOPの数値計算結果から,提案した解法はオリジナルの大関法と比較して収束速度を著しく向上させた。
論文 参考訳（メタデータ） (2024-02-21T08:21:48Z) - Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳（メタデータ） (2023-12-19T21:45:38Z) - Reverse Diffusion Monte Carlo [19.35592726471155]
逆拡散モンテカルロ(rdMC)と呼ばれる新しいモンテカルロサンプリングアルゴリズムを提案する。
rdMCはマルコフ連鎖モンテカルロ(MCMC)法とは異なる。
論文 参考訳（メタデータ） (2023-07-05T05:42:03Z) - Online Probabilistic Model Identification using Adaptive Recursive MCMC [8.465242072268019]
適応再帰的マルコフ連鎖モンテカルロ法(ARMCMC)を提案する。
モデルパラメータの確率密度関数全体を計算しながら、従来のオンライン手法の欠点を解消する。
本研究では,ソフト曲げアクチュエータとハント・クロスリー動的モデルを用いてパラメータ推定を行った。
論文 参考訳（メタデータ） (2022-10-23T02:06:48Z) - Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。
本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。
本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文 参考訳（メタデータ） (2021-02-04T02:21:08Z) - No MCMC for me: Amortized sampling for fast and stable training of
energy-based models [62.1234885852552]
エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。
本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。
次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
論文 参考訳（メタデータ） (2020-10-08T19:17:20Z) - Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。
実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
論文 参考訳（メタデータ） (2020-08-12T15:02:59Z) - Adaptive Correlated Monte Carlo for Contextual Categorical Sequence
Generation [77.7420231319632]
我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。
また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
論文 参考訳（メタデータ） (2019-12-31T03:01:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。