論文の概要: Toward Unlimited Self-Learning Monte Carlo with Annealing Process Using VAE's Implicit Isometricity

• arxiv url: http://arxiv.org/abs/2211.14024v1
• Date: Fri, 25 Nov 2022 10:53:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 15:54:49.730139
• Title: Toward Unlimited Self-Learning Monte Carlo with Annealing Process Using VAE's Implicit Isometricity
• Title（参考訳）: vaeの暗黙的等尺性を利用したアニーリングプロセスによる自己学習モンテカルロ
• Authors: Yuma Ichikawa, Akira Nakagawa, Hiromoto Masayuki, Yuhei Umeda
• Abstract要約: アプリケーションの範囲を大幅に拡大するために, 焼鈍型VAE-SLMCと呼ばれる新しいSLMC法を提案する。 我々のVAE-SLMCは、変動オートエンコーダ(VAE)を生成モデルとして使用し、任意の先行状態に依存しない効率的な並列提案を行う。
• 参考スコア（独自算出の注目度）: 6.21295508577576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-learning Monte Carlo (SLMC) methods are recently proposed to accelerate Markov chain Monte Carlo (MCMC) methods by using a machine learning model.With generative models having latent variables, SLMC methods realize efficient Monte Carlo updates with less autocorrelation. However, SLMC methods are difficult to directly apply to multimodal distributions for which training data are difficult to obtain. In this paper, we propose a novel SLMC method called the ``annealing VAE-SLMC" to drastically expand the range of applications. Our VAE-SLMC utilizes a variational autoencoder (VAE) as a generative model to make efficient parallel proposals independent of any previous state by applying the theoretically derived implicit isometricity of the VAE. We combine an adaptive annealing process to the VAE-SLMC, making our method applicable to the cases where obtaining unbiased training data is difficult in practical sense due to slow mixing. We also propose a parallel annealing process and an exchange process between chains to make the annealing operation more precise and efficient. Experiments validate that our method can proficiently obtain unbiased samples from multiple multimodal toy distributions and practical multimodal posterior distributions, which is difficult to achieve with the existing SLMC methods.
• Abstract（参考訳）: 自己学習モンテカルロ (slmc) 法は, 機械学習モデルを用いてマルコフ連鎖モンテカルロ (mcmc) 法を高速化するために最近提案されている。 しかし、SLMC法は、訓練データが得られにくいマルチモーダル分布に直接適用することは困難である。 本稿では,アプリケーションの範囲を大きく広げるために,'annealing VAE-SLMC'と呼ばれる新しいSLMC手法を提案する。 我々のVAE-SLMCは、可変オートエンコーダ(VAE)を生成モデルとして利用し、VAEの理論的に導出された暗黙的等尺性を適用して、任意の先行状態に依存しない効率的な並列提案を行う。 VAE-SLMCとアダプティブアニール処理を併用することにより,非バイアストレーニングデータ取得が困難である場合に適用できる。 また,並列アニーリングプロセスとチェーン間の交換プロセスを提案し,アニーリング操作をより正確かつ効率的なものにする。 実験により,マルチモーダル玩具分布と実用的マルチモーダル後方分布から不偏サンプルを巧みに得ることができ,既存のslmc法では達成が困難であることを確認した。

関連論文リスト

• Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
  一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。 オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。 このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
  論文  参考訳（メタデータ） (2024-11-04T16:12:37Z)
• AutoStep: Locally adaptive involutive MCMC [51.186543293659376]
  AutoStep MCMCは、ターゲット分布の局所幾何学に適合したイテレーション毎に適切なステップサイズを選択する。 本稿では,AutoStep MCMCが,単位コスト当たりの有効サンプルサイズの観点から,最先端の手法と競合することを示す。
  論文  参考訳（メタデータ） (2024-10-24T17:17:11Z)
• Convergence Acceleration of Markov Chain Monte Carlo-based Gradient Descent by Deep Unfolding [5.584060970507506]
  本研究では,深部展開法(deep unfolding)と呼ばれる深部学習手法を用いて,最適化問題(COP)のトレーニング可能なサンプリングベース解法を提案する。 提案手法は,マルコフ鎖モンテカルロ(MCMC)と勾配勾配を結合したオオゼキ法に基づいている。 数個のCOPの数値計算結果から,提案した解法はオリジナルの大関法と比較して収束速度を著しく向上させた。
  論文  参考訳（メタデータ） (2024-02-21T08:21:48Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Reverse Diffusion Monte Carlo [19.35592726471155]
  逆拡散モンテカルロ(rdMC)と呼ばれる新しいモンテカルロサンプリングアルゴリズムを提案する。 rdMCはマルコフ連鎖モンテカルロ(MCMC)法とは異なる。
  論文  参考訳（メタデータ） (2023-07-05T05:42:03Z)
• Online Probabilistic Model Identification using Adaptive Recursive MCMC [8.465242072268019]
  適応再帰的マルコフ連鎖モンテカルロ法(ARMCMC)を提案する。 モデルパラメータの確率密度関数全体を計算しながら、従来のオンライン手法の欠点を解消する。 本研究では,ソフト曲げアクチュエータとハント・クロスリー動的モデルを用いてパラメータ推定を行った。
  論文  参考訳（メタデータ） (2022-10-23T02:06:48Z)
• Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
  ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。 本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。 本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
  論文  参考訳（メタデータ） (2021-02-04T02:21:08Z)
• No MCMC for me: Amortized sampling for fast and stable training of energy-based models [62.1234885852552]
  エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。 本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。 次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
  論文  参考訳（メタデータ） (2020-10-08T19:17:20Z)
• Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
  本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。 実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
  論文  参考訳（メタデータ） (2020-08-12T15:02:59Z)
• Adaptive Correlated Monte Carlo for Contextual Categorical Sequence Generation [77.7420231319632]
  我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。 また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
  論文  参考訳（メタデータ） (2019-12-31T03:01:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。