論文の概要: AMAGOLD: Amortized Metropolis Adjustment for Efficient Stochastic Gradient MCMC

• arxiv url: http://arxiv.org/abs/2003.00193v1
• Date: Sat, 29 Feb 2020 06:57:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 20:06:39.730202
• Title: AMAGOLD: Amortized Metropolis Adjustment for Efficient Stochastic Gradient MCMC
• Title（参考訳）: AMAGOLD: 効率的な確率勾配MCMCの補正
• Authors: Ruqi Zhang, A. Feder Cooper, Christopher De Sa
• Abstract要約: ハミルトニアン・モンテカルロ(英語版)(SGHMC)は、連続分布からサンプリングする効率的な方法である。 本稿では、しばしばメトロポリス・ハスティング(M-H)補正を用いてバイアスを除去する2次SG-MCMCアルゴリズム--AMAGOLDを提案する。 我々は, AMAGOLD が減少するステップサイズではなく, 目標分布に収束し, 収束速度が全バッチベースラインよりも遅くなることを証明した。
• 参考スコア（独自算出の注目度）: 37.768023232677244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic gradient Hamiltonian Monte Carlo (SGHMC) is an efficient method for sampling from continuous distributions. It is a faster alternative to HMC: instead of using the whole dataset at each iteration, SGHMC uses only a subsample. This improves performance, but introduces bias that can cause SGHMC to converge to the wrong distribution. One can prevent this using a step size that decays to zero, but such a step size schedule can drastically slow down convergence. To address this tension, we propose a novel second-order SG-MCMC algorithm---AMAGOLD---that infrequently uses Metropolis-Hastings (M-H) corrections to remove bias. The infrequency of corrections amortizes their cost. We prove AMAGOLD converges to the target distribution with a fixed, rather than a diminishing, step size, and that its convergence rate is at most a constant factor slower than a full-batch baseline. We empirically demonstrate AMAGOLD's effectiveness on synthetic distributions, Bayesian logistic regression, and Bayesian neural networks.
• Abstract（参考訳）: 確率勾配ハミルトニアン・モンテカルロ(SGHMC)は連続分布からの効率的なサンプリング法である。 各イテレーションでデータセット全体を使用する代わりに、SGHMCはサブサンプルのみを使用する。 これにより性能が向上するが、SGHMCを間違った分布に収束させるバイアスが発生する。 これをゼロに崩壊するステップサイズで防ぐことができるが、そのようなステップサイズスケジュールは収束を劇的に遅らせる可能性がある。 そこで本稿では, しばしばメトロポリス・ハスティング(M-H)補正を用いてバイアスを除去する2次SG-MCMCアルゴリズム--AMAGOLDを提案する。 補正の頻度はコストを償却する。 我々は, AMAGOLD が減少するステップサイズではなく, 目標分布に収束し, 収束速度が全バッチベースラインよりも遅くなることを証明した。 我々は,合成分布,ベイズロジスティック回帰,ベイズニューラルネットワークに対するアマゴールドの有効性を実証的に示す。

関連論文リスト

• Persistent Sampling: Unleashing the Potential of Sequential Monte Carlo [0.0]
  逐次モンテカルロ法の拡張であるパーシステンスサンプリング(PS)を導入する。 PSは、繰り返しに分散する粒子の増大し重み付けされたアンサンブルを生成する。 PSは標準手法を一貫して上回り、後部モーメント推定において低い2乗バイアスを達成する。
  論文  参考訳（メタデータ） (2024-07-30T10:34:40Z)
• SpreadNUTS -- Moderate Dynamic Extension of Paths for No-U-Turn Sampling & Partitioning Visited Regions [0.0]
  本稿では,no-U-turn sampler (NUTS) として知られる特定のハミルトンモンテカルロ (HMC) アルゴリズムの変更を紹介する。 NUTS は NUTS よりも早くサンプル空間を探索することを目的としており、真分布への収束が NUTS より高速なサンプリング器を提供する。
  論文  参考訳（メタデータ） (2023-07-09T05:00:25Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
  後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。 我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
  論文  参考訳（メタデータ） (2020-10-03T16:22:15Z)
• Langevin Monte Carlo: random coordinate descent and variance reduction [7.464874233755718]
  Langevin Monte Carlo (LMC) はベイジアンサンプリング法として人気がある。 LMC上でのRCD(ランダム座標降下)の適用により計算効率を向上させる方法について検討する。
  論文  参考訳（メタデータ） (2020-07-26T18:14:36Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Variance reduction for Random Coordinate Descent-Langevin Monte Carlo [7.464874233755718]
  高速収束を提供するランゲヴィン・モンテカルロ(LMC)は勾配近似の計算を必要とする。 実際には、有限差分近似を代理として使用し、高次元では高価である。 本稿では,新しい分散低減手法であるCoordinates Averaging Descent (RCAD)を導入し,過度に損傷を受けたLCCと過度に損傷を受けたLCCを併用する。
  論文  参考訳（メタデータ） (2020-06-10T21:08:38Z)
• Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via Non-uniform Subsampling of Gradients [54.90670513852325]
  サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。 EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。 EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
  論文  参考訳（メタデータ） (2020-02-20T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。