論文の概要: Stochastic Approximation with Biased MCMC for Expectation Maximization
- arxiv url: http://arxiv.org/abs/2402.17870v1
- Date: Tue, 27 Feb 2024 20:10:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 17:14:54.439506
- Title: Stochastic Approximation with Biased MCMC for Expectation Maximization
- Title（参考訳）: 予測最大化のためのバイアスMCMCによる確率近似
- Authors: Samuel Gruffaz, Kyurae Kim, Alain Oliviero Durmus, Jacob R. Gardner
- Abstract要約: マルコフ連鎖モンテカルロを用いた近似スキームはMCMC-SAEMと呼ばれるアルゴリズムを作成するのに利用できる。
MCMC-SAEMは、理論上はあまり理解されていないMCMCアルゴリズムによってしばしば実行される。
ULA はランゲヴィンの段階的な選択に関してより安定であり、時としてより高速な収束をもたらすことが示される。
- 参考スコア（独自算出の注目度）: 9.4641739998927
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The expectation maximization (EM) algorithm is a widespread method for
empirical Bayesian inference, but its expectation step (E-step) is often
intractable. Employing a stochastic approximation scheme with Markov chain
Monte Carlo (MCMC) can circumvent this issue, resulting in an algorithm known
as MCMC-SAEM. While theoretical guarantees for MCMC-SAEM have previously been
established, these results are restricted to the case where asymptotically
unbiased MCMC algorithms are used. In practice, MCMC-SAEM is often run with
asymptotically biased MCMC, for which the consequences are theoretically less
understood. In this work, we fill this gap by analyzing the asymptotics and
non-asymptotics of SAEM with biased MCMC steps, particularly the effect of
bias. We also provide numerical experiments comparing the Metropolis-adjusted
Langevin algorithm (MALA), which is asymptotically unbiased, and the unadjusted
Langevin algorithm (ULA), which is asymptotically biased, on synthetic and real
datasets. Experimental results show that ULA is more stable with respect to the
choice of Langevin stepsize and can sometimes result in faster convergence.
- Abstract（参考訳）: 期待最大化(EM)アルゴリズムは経験的ベイズ推論の広範な手法であるが、期待段階(Eステップ)はしばしば難解である。
マルコフ連鎖モンテカルロ(MCMC)による確率近似スキームを用いることでこの問題を回避することができ、MCMC-SAEMと呼ばれるアルゴリズムが作られる。
MCMC-SAEMの理論的保証はこれまで確立されてきたが、これらの結果は漸近的に偏りのないMCMCアルゴリズムを用いる場合に限られている。
実際には、MCMC-SAEMはしばしば漸近的に偏りのあるMCMCで実行される。
本研究では,SAEMの漸近と非漸近をMCMCステップ,特にバイアスの影響で解析することにより,このギャップを埋める。
また、漸近的に偏りのないメトロポリス調整ランゲヴィンアルゴリズム(MALA)と、漸近的に偏りのある非調整ランゲヴィンアルゴリズム(ULA)を合成データセットと実データセットで比較した数値実験を行った。
実験の結果、ULAはランゲヴィンの段階的な選択に関してより安定であり、時にはより速い収束をもたらすことが示されている。
関連論文リスト
- Asymptotically Optimal Change Detection for Unnormalized Pre- and Post-Change Distributions [65.38208224389027]
本稿では,非正規化前および後の変化分布のみがアクセス可能である場合にのみ,変化を検出する問題に対処する。
提案手法は,最適性能を示すことが知られている累積サム統計量の推定に基づく。
論文 参考訳（メタデータ） (2024-10-18T17:13:29Z) - On Cyclical MCMC Sampling [13.002470980542707]
循環型MCMCはマルコフカーネルが高速な混合を行う場合の所望の確率分布に収束することを示す。
また, 循環MCMCは, 目標に収束しない場合でも, 各モードの周囲の分布の局所的な形状をよく推定することを示した。
論文 参考訳（メタデータ） (2024-03-01T02:20:44Z) - Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳（メタデータ） (2023-12-19T21:45:38Z) - SpreadNUTS -- Moderate Dynamic Extension of Paths for No-U-Turn Sampling
& Partitioning Visited Regions [0.0]
本稿では,no-U-turn sampler (NUTS) として知られる特定のハミルトンモンテカルロ (HMC) アルゴリズムの変更を紹介する。
NUTS は NUTS よりも早くサンプル空間を探索することを目的としており、真分布への収束が NUTS より高速なサンプリング器を提供する。
論文 参考訳（メタデータ） (2023-07-09T05:00:25Z) - Convergence Analysis of Stochastic Gradient Descent with MCMC Estimators [8.493584276672971]
勾配降下(SGD)とその変種は機械学習に不可欠である。
本稿では,マルコフ連鎖モンテカルロ(MCMC)推定器を用いて勾配を計算するSGDアルゴリズムについて考察する。
MCMC-SGDはサドル点から脱出し、$(epsilon,epsilon1/4)$2次定常点に達することが示されている。
論文 参考訳（メタデータ） (2023-03-19T08:29:49Z) - Clipped Stochastic Methods for Variational Inequalities with
Heavy-Tailed Noise [64.85879194013407]
単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。
この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。
さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
論文 参考訳（メタデータ） (2022-06-02T15:21:55Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳（メタデータ） (2021-10-24T10:23:51Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - Accelerating MCMC algorithms through Bayesian Deep Networks [7.054093620465401]
マルコフ・チェイン・モンテカルロ(MCMC)アルゴリズムは、複雑な確率分布のサンプリングにおいて、その汎用性のために一般的に用いられる。
分布の次元が大きくなるにつれて、サンプリング空間を十分に探索する計算コストが困難になる。
マルコフ連鎖の最初の提案としてベイズニューラルネットワークの結果を用いて適応MCMCを実行する方法を示す。
論文 参考訳（メタデータ） (2020-11-29T04:29:00Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。
実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
論文 参考訳（メタデータ） (2020-08-12T15:02:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。