論文の概要: Delayed rejection Hamiltonian Monte Carlo for sampling multiscale
distributions
- arxiv url: http://arxiv.org/abs/2110.00610v1
- Date: Fri, 1 Oct 2021 18:36:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-07 06:43:40.976203
- Title: Delayed rejection Hamiltonian Monte Carlo for sampling multiscale
distributions
- Title(参考訳): 多スケール分布サンプリングのための遅延拒絶ハミルトンモンテカルロ
- Authors: Chirag Modi, Alex Barnett and Bob Carpenter
- Abstract要約: 遅延リジェクションにより、最適チューニングされたHMCよりも最大5倍の性能向上が可能となる。
より単純な分布であっても、遅延拒絶はステップサイズの不特定化に対して堅牢性を高める。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The efficiency of Hamiltonian Monte Carlo (HMC) can suffer when sampling a
distribution with a wide range of length scales, because the small step sizes
needed for stability in high-curvature regions are inefficient elsewhere. To
address this we present a delayed rejection variant: if an initial HMC
trajectory is rejected, we make one or more subsequent proposals each using a
step size geometrically smaller than the last. We extend the standard delayed
rejection framework by allowing the probability of a retry to depend on the
probability of accepting the previous proposal. We test the scheme in several
sampling tasks, including multiscale model distributions such as Neal's funnel,
and statistical applications. Delayed rejection enables up to five-fold
performance gains over optimally-tuned HMC, as measured by effective sample
size per gradient evaluation. Even for simpler distributions, delayed rejection
provides increased robustness to step size misspecification. Along the way, we
provide an accessible but rigorous review of detailed balance for HMC.
- Abstract(参考訳): ハミルトンモンテカルロ (hmc) の効率は、高曲率領域の安定性に必要な小さなステップサイズが他の場所では非効率であるため、幅広い長さスケールの分布をサンプリングする場合に発生する。
初期hmc軌道が拒否された場合、各ステップのサイズを最後のステップよりも幾何的に小さくして、後続の提案を一つ以上行う。
我々は、リトライの確率が前の提案を受け入れる確率に依存するようにすることで、標準の遅延拒絶フレームワークを拡張する。
neal's funnel などのマルチスケールモデル分布や統計応用など,いくつかのサンプリングタスクでこのスキームをテストした。
遅延拒絶は、最適な調整されたhmcよりも最大5倍の性能向上を可能にする。
より単純な分布であっても、遅延拒絶はステップサイズの不特定化に対して堅牢性を高める。
その過程で,HMCの詳細なバランスについて,アクセス可能ながら厳密なレビューを行う。
関連論文リスト
- DC-Solver: Improving Predictor-Corrector Diffusion Sampler via Dynamic Compensation [68.55191764622525]
拡散モデル(DPM)は、視覚合成において顕著な性能を示すが、サンプリング中に複数の評価を必要とするため、計算コストが高い。
最近の予測器合成・拡散サンプリング装置は,要求される評価回数を大幅に削減したが,本質的には誤調整の問題に悩まされている。
我々はDC-CPRrと呼ばれる新しい高速DPMサンプリング装置を導入する。
論文 参考訳(メタデータ) (2024-09-05T17:59:46Z) - Persistent Sampling: Unleashing the Potential of Sequential Monte Carlo [0.0]
逐次モンテカルロ法の拡張であるパーシステンスサンプリング(PS)を導入する。
PSは、繰り返しに分散する粒子の増大し重み付けされたアンサンブルを生成する。
PSは標準手法を一貫して上回り、後部モーメント推定において低い2乗バイアスを達成する。
論文 参考訳(メタデータ) (2024-07-30T10:34:40Z) - Importance Corrected Neural JKO Sampling [0.0]
重み付けに基づいて, 連続正規化フロー (CNFs) とリジェクション・サンプリングのステップを結合する。
発生モデルを反復的にトレーニングし、各ステップにおける逆KL損失関数を低減し、iidサンプルを生成することができる。
数値的な例から,本手法は高次元マルチモーダルターゲットを含む様々な試験分布に対して精度の高い結果が得られることを示す。
論文 参考訳(メタデータ) (2024-07-29T22:49:59Z) - Sequential Monte Carlo for Inclusive KL Minimization in Amortized Variational Inference [3.126959812401426]
SMC-Wakeは,モンテカルロの連続検層を用いて包摂的KL偏差の勾配を推定する補正式である。
シミュレーションと実データの両方を用いた実験では、SMC-Wakeは既存の手法よりも後方を正確に近似する変動分布に適合する。
論文 参考訳(メタデータ) (2024-03-15T18:13:48Z) - Statistical guarantees for stochastic Metropolis-Hastings [0.0]
バッチ上での受け入れ確率を計算することで、Metropolis-Hastingsステップは計算コストを削減できるが、有効なサンプルサイズを削減できる。
この障害を簡単な補正項で回避できることを示す。
我々は、メトロポリス・ハスティングス・アルゴリズムが、古典的なメトロポリス調整ランゲヴィン・アルゴリズムから得られるものと同様の挙動を示す。
論文 参考訳(メタデータ) (2023-10-13T18:00:26Z) - Langevin Quasi-Monte Carlo [6.146093081175471]
ランゲヴィン・モンテカルロ(LMC)とその勾配バージョンは複雑な高次元分布からサンプリングする強力なアルゴリズムである。
準ランダムサンプルを用いてLCCの推定誤差を低減できることを示す。
論文 参考訳(メタデータ) (2023-09-22T07:15:18Z) - On Calibrating Diffusion Probabilistic Models [78.75538484265292]
拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。
そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。
キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
論文 参考訳(メタデータ) (2023-02-21T14:14:40Z) - Preconditioned Score-based Generative Models [49.88840603798831]
直感的な加速度法はサンプリングの繰り返しを減らし、しかしながら重大な性能劣化を引き起こす。
本稿では,行列プレコンディショニングを利用したモデル非依存型bfem事前条件拡散サンプリング(PDS)手法を提案する。
PDSは、バニラSGMのサンプリングプロセスを限界余剰計算コストで変更し、モデルの再訓練を行わない。
論文 参考訳(メタデータ) (2023-02-13T16:30:53Z) - Post-Processing Temporal Action Detection [134.26292288193298]
時間的行動検出(TAD)法は、通常、入力された可変長のビデオを固定長のスニペット表現シーケンスに変換する際に、前処理のステップを踏む。
この前処理ステップは、ビデオを時間的にダウンサンプリングし、推論の解像度を低減し、元の時間分解における検出性能を阻害する。
モデルの再設計や再学習を伴わない新しいモデル非依存のポストプロセッシング手法を提案する。
論文 参考訳(メタデータ) (2022-11-27T19:50:37Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:00:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。