論文の概要: MCMC-Interactive Variational Inference
- arxiv url: http://arxiv.org/abs/2010.02029v1
- Date: Fri, 2 Oct 2020 17:43:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 00:58:37.707425
- Title: MCMC-Interactive Variational Inference
- Title（参考訳）: MCMC-Interactive Variational Inference
- Authors: Quan Zhang, Huangjie Zheng, Mingyuan Zhou
- Abstract要約: 本稿では, MCMC-interactive variational inference (MIVI) を提案し, 後部を時間制約で推定する。
MIVIは変分推論とMCMCの相補的特性を利用して相互改善を促進する。
実験により、MIVIは後部を正確に近似するだけでなく、勾配MCMCとギブスサンプリング遷移の設計を容易にすることが示された。
- 参考スコア（独自算出の注目度）: 56.58416764959414
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Leveraging well-established MCMC strategies, we propose MCMC-interactive
variational inference (MIVI) to not only estimate the posterior in a time
constrained manner, but also facilitate the design of MCMC transitions.
Constructing a variational distribution followed by a short Markov chain that
has parameters to learn, MIVI takes advantage of the complementary properties
of variational inference and MCMC to encourage mutual improvement. On one hand,
with the variational distribution locating high posterior density regions, the
Markov chain is optimized within the variational inference framework to
efficiently target the posterior despite a small number of transitions. On the
other hand, the optimized Markov chain with considerable flexibility guides the
variational distribution towards the posterior and alleviates its
underestimation of uncertainty. Furthermore, we prove the optimized Markov
chain in MIVI admits extrapolation, which means its marginal distribution gets
closer to the true posterior as the chain grows. Therefore, the Markov chain
can be used separately as an efficient MCMC scheme. Experiments show that MIVI
not only accurately and efficiently approximates the posteriors but also
facilitates designs of stochastic gradient MCMC and Gibbs sampling transitions.
- Abstract（参考訳）: 確立されたMCMC戦略を活用し,時間制約で後部を推定するだけでなく,MCMC遷移の設計を容易にするため,MCMC-interactive variational Inference (MIVI)を提案する。
変分分布を構成すると、学習すべきパラメータを持つ短いマルコフ連鎖が続き、MIVIは変分推論の相補的性質とMCMCを利用して相互改善を促進する。
一方,高度後部密度領域に分布する変動分布では,マルコフ連鎖は変分推論フレームワーク内で最適化され,少数の遷移にもかかわらず効率的に後部を標的とする。
一方、かなりの柔軟性を持つ最適化マルコフ連鎖は、後方への変分分布を誘導し、不確実性の過小評価を緩和する。
さらに、miviの最適化されたマルコフ鎖は外挿を認め、鎖が成長するにつれてその辺の分布が真の後方に近づくことを証明した。
したがって、マルコフ連鎖は効率の良いMCMCスキームとして別々に使用できる。
実験により、MIVIは後方部を正確かつ効率的に近似するだけでなく、確率勾配MCMCとギブスサンプリング遷移の設計を容易にすることが示された。
関連論文リスト
- Learning variational autoencoders via MCMC speed measures [7.688686113950604]
変分オートエンコーダ(VAE)は、確率に基づく生成モデルとして人気がある。
この研究は、短周期メトロポリス調整ランゲヴィン (MALA) やハミルトンモンテカルロ (HMC) のエントロピーに基づく適応を示唆している。
実験により、このアプローチは、高い保持率のログライクな状態と、生成指標の改善をもたらすことが示されている。
論文 参考訳（メタデータ） (2023-08-26T02:15:51Z) - Covariate shift in nonparametric regression with Markovian design [0.0]
ナダラヤ・ワトソン核推定器の滑らかさリスクに対する収束速度は、ソースとターゲットマルコフ連鎖に関連する不変分布の類似性によって決定されることを示す。
我々は、Kpotufe と Martinet からの分布指数の概念を、一様エルゴードなマルコフ鎖の核移動指数に拡張する。
論文 参考訳（メタデータ） (2023-07-17T14:24:27Z) - Stochastic Gradient Descent under Markovian Sampling Schemes [3.04585143845864]
マルコフ型サンプリングスキームにのみアクセス可能なバニラ勾配勾配の変動について検討する。
我々は、基礎となるマルコフ連鎖で可能な最小限の制限的な仮定の下で収束率を得ることに焦点をあてる。
論文 参考訳（メタデータ） (2023-02-28T09:18:00Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - Score-Based Diffusion meets Annealed Importance Sampling [89.92133671626327]
Annealed Importance Smpling はいまだに限界推定の最も効果的な方法の1つである。
我々は、スコアベース生成モデルにおける最近の進歩を活用し、AIS提案の最適拡張目標分布を近似する。
論文 参考訳（メタデータ） (2022-08-16T12:13:29Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳（メタデータ） (2021-06-30T11:00:24Z) - What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。
また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
論文 参考訳（メタデータ） (2021-04-29T15:38:46Z) - Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。
本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。
本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文 参考訳（メタデータ） (2021-02-04T02:21:08Z) - Accelerating MCMC algorithms through Bayesian Deep Networks [7.054093620465401]
マルコフ・チェイン・モンテカルロ(MCMC)アルゴリズムは、複雑な確率分布のサンプリングにおいて、その汎用性のために一般的に用いられる。
分布の次元が大きくなるにつれて、サンプリング空間を十分に探索する計算コストが困難になる。
マルコフ連鎖の最初の提案としてベイズニューラルネットワークの結果を用いて適応MCMCを実行する方法を示す。
論文 参考訳（メタデータ） (2020-11-29T04:29:00Z) - MetFlow: A New Efficient Method for Bridging the Gap between Markov
Chain Monte Carlo and Variational Inference [20.312106392307406]
変分推論(VI)とマルコフ・チェイン・モンテカルロ(MCMC)を組み合わせた計算効率の良い新しい手法を提案する。
このアプローチは汎用MCMCカーネルで使用することができるが,提案するMCMCアルゴリズムの新たなファミリである textitMetFlow に特に適している。
論文 参考訳（メタデータ） (2020-02-27T16:50:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。