論文の概要: Delayed rejection Hamiltonian Monte Carlo for sampling multiscale
distributions
- arxiv url: http://arxiv.org/abs/2110.00610v1
- Date: Fri, 1 Oct 2021 18:36:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-07 06:43:40.976203
- Title: Delayed rejection Hamiltonian Monte Carlo for sampling multiscale
distributions
- Title(参考訳): 多スケール分布サンプリングのための遅延拒絶ハミルトンモンテカルロ
- Authors: Chirag Modi, Alex Barnett and Bob Carpenter
- Abstract要約: 遅延リジェクションにより、最適チューニングされたHMCよりも最大5倍の性能向上が可能となる。
より単純な分布であっても、遅延拒絶はステップサイズの不特定化に対して堅牢性を高める。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The efficiency of Hamiltonian Monte Carlo (HMC) can suffer when sampling a
distribution with a wide range of length scales, because the small step sizes
needed for stability in high-curvature regions are inefficient elsewhere. To
address this we present a delayed rejection variant: if an initial HMC
trajectory is rejected, we make one or more subsequent proposals each using a
step size geometrically smaller than the last. We extend the standard delayed
rejection framework by allowing the probability of a retry to depend on the
probability of accepting the previous proposal. We test the scheme in several
sampling tasks, including multiscale model distributions such as Neal's funnel,
and statistical applications. Delayed rejection enables up to five-fold
performance gains over optimally-tuned HMC, as measured by effective sample
size per gradient evaluation. Even for simpler distributions, delayed rejection
provides increased robustness to step size misspecification. Along the way, we
provide an accessible but rigorous review of detailed balance for HMC.
- Abstract(参考訳): ハミルトンモンテカルロ (hmc) の効率は、高曲率領域の安定性に必要な小さなステップサイズが他の場所では非効率であるため、幅広い長さスケールの分布をサンプリングする場合に発生する。
初期hmc軌道が拒否された場合、各ステップのサイズを最後のステップよりも幾何的に小さくして、後続の提案を一つ以上行う。
我々は、リトライの確率が前の提案を受け入れる確率に依存するようにすることで、標準の遅延拒絶フレームワークを拡張する。
neal's funnel などのマルチスケールモデル分布や統計応用など,いくつかのサンプリングタスクでこのスキームをテストした。
遅延拒絶は、最適な調整されたhmcよりも最大5倍の性能向上を可能にする。
より単純な分布であっても、遅延拒絶はステップサイズの不特定化に対して堅牢性を高める。
その過程で,HMCの詳細なバランスについて,アクセス可能ながら厳密なレビューを行う。
関連論文リスト
- Repelling-Attracting Hamiltonian Monte Carlo [0.8158530638728501]
我々は、ハミルトニアンモンテカルロの変種(Repelling-Attracting Hamiltonian Monte Carlo (RAHMC))を提案する。
RAHMCには2つのステージがある: サンプルが高確率密度の領域から遠ざかるように促すモード推進段階と、サンプルが代替モードに近づいたり落ち着いたりするためのモード抽出段階である。
論文 参考訳(メタデータ) (2024-03-07T15:54:55Z) - Statistical guarantees for stochastic Metropolis-Hastings [0.0]
バッチ上での受け入れ確率を計算することで、Metropolis-Hastingsステップは計算コストを削減できるが、有効なサンプルサイズを削減できる。
この障害を簡単な補正項で回避できることを示す。
我々は、メトロポリス・ハスティングス・アルゴリズムが、古典的なメトロポリス調整ランゲヴィン・アルゴリズムから得られるものと同様の挙動を示す。
論文 参考訳(メタデータ) (2023-10-13T18:00:26Z) - Entropy-MCMC: Sampling from Flat Basins with Ease [12.716429755564823]
我々は, シャープモードから解放された円滑な後円板に類似した定常分布である補助誘導変数を導入し, MCMC試料を平らな盆地に導出する。
この導出変数をモデルパラメータと統合することにより、計算オーバーヘッドを最小限に抑えた効率的なサンプリングを可能にする、単純なジョイント分布を作成する。
実験により,提案手法は後方の平らな盆地から試料を採取し,比較したベースラインを複数ベンチマークで比較した。
論文 参考訳(メタデータ) (2023-10-09T04:40:20Z) - Langevin Quasi-Monte Carlo [6.146093081175471]
ランゲヴィン・モンテカルロ(LMC)とその勾配バージョンは複雑な高次元分布からサンプリングする強力なアルゴリズムである。
準ランダムサンプルを用いてLCCの推定誤差を低減できることを示す。
論文 参考訳(メタデータ) (2023-09-22T07:15:18Z) - On Calibrating Diffusion Probabilistic Models [78.75538484265292]
拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。
そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。
キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
論文 参考訳(メタデータ) (2023-02-21T14:14:40Z) - Preconditioned Score-based Generative Models [49.88840603798831]
直感的な加速度法はサンプリングの繰り返しを減らし、しかしながら重大な性能劣化を引き起こす。
本稿では,行列プレコンディショニングを利用したモデル非依存型bfem事前条件拡散サンプリング(PDS)手法を提案する。
PDSは、バニラSGMのサンプリングプロセスを限界余剰計算コストで変更し、モデルの再訓練を行わない。
論文 参考訳(メタデータ) (2023-02-13T16:30:53Z) - Post-Processing Temporal Action Detection [134.26292288193298]
時間的行動検出(TAD)法は、通常、入力された可変長のビデオを固定長のスニペット表現シーケンスに変換する際に、前処理のステップを踏む。
この前処理ステップは、ビデオを時間的にダウンサンプリングし、推論の解像度を低減し、元の時間分解における検出性能を阻害する。
モデルの再設計や再学習を伴わない新しいモデル非依存のポストプロセッシング手法を提案する。
論文 参考訳(メタデータ) (2022-11-27T19:50:37Z) - Preferential Subsampling for Stochastic Gradient Langevin Dynamics [3.158346511479111]
勾配MCMCは、データの小さな一様重み付きサブサンプルを持つ対数姿勢の勾配をバイアスなく見積もっている。
得られた勾配推定器は、高いばらつきおよび衝撃サンプリング性能を示すことができる。
このような手法は,使用中の平均サブサンプルサイズを大幅に削減しつつ,同じレベルの精度を維持することができることを示す。
論文 参考訳(メタデータ) (2022-10-28T14:56:18Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳(メタデータ) (2022-02-26T19:10:48Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:00:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。