論文の概要: Accelerated Markov Chain Monte Carlo Using Adaptive Weighting Scheme
- arxiv url: http://arxiv.org/abs/2408.12888v1
- Date: Fri, 23 Aug 2024 07:45:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-26 15:49:48.550358
- Title: Accelerated Markov Chain Monte Carlo Using Adaptive Weighting Scheme
- Title（参考訳）: Adaptive Weighting Schemeを用いたMarkov Chain Monte Carloの高速化
- Authors: Yanbo Wang, Wenyu Chen, Shimin Shan,
- Abstract要約: 本研究では,各潜伏変数を非一様に選択するランダムスキャンギブスサンプリング法が,対象の後方分布を不変に残すことを示す。
特に、選択確率の関数として目的を構築し、制約付き最適化問題を解く。
アルゴリズムは,その限界確率に応じて変数更新を選択することでマルコフ連鎖の混合時間を高めるという単純な直観に依存している。
- 参考スコア（独自算出の注目度）: 10.298535045401543
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gibbs sampling is one of the most commonly used Markov Chain Monte Carlo (MCMC) algorithms due to its simplicity and efficiency. It cycles through the latent variables, sampling each one from its distribution conditional on the current values of all the other variables. Conventional Gibbs sampling is based on the systematic scan (with a deterministic order of variables). In contrast, in recent years, Gibbs sampling with random scan has shown its advantage in some scenarios. However, almost all the analyses of Gibbs sampling with the random scan are based on uniform selection of variables. In this paper, we focus on a random scan Gibbs sampling method that selects each latent variable non-uniformly. Firstly, we show that this non-uniform scan Gibbs sampling leaves the target posterior distribution invariant. Then we explore how to determine the selection probability for latent variables. In particular, we construct an objective as a function of the selection probability and solve the constrained optimization problem. We further derive an analytic solution of the selection probability, which can be estimated easily. Our algorithm relies on the simple intuition that choosing the variable updates according to their marginal probabilities enhances the mixing time of the Markov chain. Finally, we validate the effectiveness of the proposed Gibbs sampler by conducting a set of experiments on real-world applications.
- Abstract（参考訳）: ギブスサンプリングはマルコフ・チェイン・モンテカルロ (MCMC) アルゴリズムの単純さと効率性から最もよく使われるアルゴリズムの1つである。
潜伏変数を循環し、他の変数の現在の値に基づいて分布条件から各変数をサンプリングする。
従来のギブスサンプリングは(変数の決定論的順序で)系統的なスキャンに基づいている。
対照的に、近年では、ランダムスキャンによるギブズサンプリングがいくつかのシナリオでその優位性を示している。
しかし、ランダムスキャンによるギブズサンプリングのほとんどすべての分析は、変数の均一な選択に基づいている。
本稿では,各潜伏変数を不均一に選択するランダムスキャンギブスサンプリング手法に着目する。
まず、この一様でないスキャンギブスサンプリングが対象の後方分布を不変にしていることを示す。
次に、潜伏変数の選択確率を決定する方法について検討する。
特に、選択確率の関数として目的を構築し、制約付き最適化問題を解く。
さらに、容易に推定できる選択確率の分析解を導出する。
アルゴリズムは,その限界確率に応じて変数更新を選択することでマルコフ連鎖の混合時間を高めるという単純な直観に依存している。
最後に,提案したGibbsサンプル装置の有効性を実世界の応用実験により検証した。
関連論文リスト
- SoftCVI: Contrastive variational inference with self-generated soft labels [2.5398014196797614]
変分推論とマルコフ連鎖モンテカルロ法がこのタスクの主要なツールである。
ソフトコントラスト変動推論(SoftCVI)を導入し、コントラスト推定フレームワークを用いて変動対象のファミリーを導出する。
我々は、SoftCVIを用いて、訓練や大量発見に安定な目標を定式化することができ、他の変分アプローチよりも頻繁に優れた推論が可能であることを発見した。
論文 参考訳（メタデータ） (2024-07-22T14:54:12Z) - Faster Diffusion Sampling with Randomized Midpoints: Sequential and Parallel [10.840582511203024]
我々のアルゴリズムは、$widetilde O(log2 d)$ parallel roundsでのみ実行できるように並列化可能であることを示す。
また、我々のアルゴリズムは、$widetilde O(log2 d)$ parallel roundsでしか実行できないことを示す。
論文 参考訳（メタデータ） (2024-06-03T01:34:34Z) - Ito Diffusion Approximation of Universal Ito Chains for Sampling, Optimization and Boosting [64.0722630873758]
我々は、ある微分方程式のオイラー・マルヤマ離散化のように見える、より一般で幅広いマルコフ連鎖、伊藤鎖を考える。
伊藤鎖の法則と微分方程式の間の$W_2$-距離の有界性を証明する。
論文 参考訳（メタデータ） (2023-10-09T18:38:56Z) - Sharper Rates and Flexible Framework for Nonconvex SGD with Client and
Data Sampling [64.31011847952006]
我々は、平均$n$スムーズでおそらくは非カラー関数のほぼ定常点を求める問題を再考する。
我々は$smallsfcolorgreen$を一般化し、事実上あらゆるサンプリングメカニズムで確実に動作するようにします。
我々は、スムーズな非カラー状態における最適境界の最も一般的な、最も正確な解析を提供する。
論文 参考訳（メタデータ） (2022-06-05T21:32:33Z) - Adversarial sampling of unknown and high-dimensional conditional
distributions [0.0]
本稿では, GAN (Generative Adversarial Network) と呼ばれるデータ駆動方式を用いて, サンプリング法と基礎分布の推定を行う。
GANは、2つの競合するニューラルネットワークをトレーニングし、トレーニングセット分布からサンプルを効果的に生成できるネットワークを生成する。
提案アルゴリズムのすべてのバージョンは, 対象条件分布を, サンプルの品質に最小限の影響で効果的にサンプリングできることが示されている。
論文 参考訳（メタデータ） (2021-11-08T12:23:38Z) - Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。
粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
論文 参考訳（メタデータ） (2021-10-06T16:58:34Z) - Deterministic Gibbs Sampling via Ordinary Differential Equations [77.42706423573573]
本稿では,自律的ODEとツールを用いた決定論的測度保存ダイナミクスの一般構築について述べる。
我々は、ハイブリッドモンテカルロや他の決定論的サンプルが、我々の理論の特別な場合としてどのように従うかを示す。
論文 参考訳（メタデータ） (2021-06-18T15:36:09Z) - Continuous Herded Gibbs Sampling [1.2183405753834557]
ハーディングは確率分布から決定論的サンプルを逐次生成する手法である。
本稿では, 連続密度に基づくカーネルハーディングとギブスサンプリングを組み合わせた, 連続型群集型ギブスサンプリング手法を提案する。
論文 参考訳（メタデータ） (2021-06-11T14:37:40Z) - Tracking disease outbreaks from sparse data with Bayesian inference [55.82986443159948]
新型コロナウイルス(COVID-19)のパンデミックは、感染発生時の感染率を推定する新たな動機を与える。
標準的な手法は、より細かいスケールで共通する部分的な観測可能性とスパースなデータに対応するのに苦労する。
原理的に部分観測可能なベイズ的枠組みを提案する。
論文 参考訳（メタデータ） (2020-09-12T20:37:33Z) - Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。
分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
論文 参考訳（メタデータ） (2020-02-21T14:03:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。