論文の概要: Stochastic Gradient Piecewise Deterministic Monte Carlo Samplers

• arxiv url: http://arxiv.org/abs/2406.19051v1
• Date: Thu, 27 Jun 2024 09:59:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 14:37:31.605861
• Title: Stochastic Gradient Piecewise Deterministic Monte Carlo Samplers
• Title（参考訳）: 確率勾配方向決定論的モンテカルロサンプリング器
• Authors: Paul Fearnhead, Sebastiano Grazzi, Chris Nemeth, Gareth O. Roberts,
• Abstract要約: 近年の研究では、モンテカルロ法を用いて、目的とする関心の分布から標本を抽出することを提案している。 後方分布からのスケーラブルサンプリングのためのサブサンプリングによるPDMPの近似シミュレーションを提案する。 これらの手法は実装が容易であることが示され、近似誤差の結果を示し、このアルゴリズムのクラスが勾配ランゲヴィン力学と類似の効率を持つことを示す。
• 参考スコア（独自算出の注目度）: 3.487370856323828
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has suggested using Monte Carlo methods based on piecewise deterministic Markov processes (PDMPs) to sample from target distributions of interest. PDMPs are non-reversible continuous-time processes endowed with momentum, and hence can mix better than standard reversible MCMC samplers. Furthermore, they can incorporate exact sub-sampling schemes which only require access to a single (randomly selected) data point at each iteration, yet without introducing bias to the algorithm's stationary distribution. However, the range of models for which PDMPs can be used, particularly with sub-sampling, is limited. We propose approximate simulation of PDMPs with sub-sampling for scalable sampling from posterior distributions. The approximation takes the form of an Euler approximation to the true PDMP dynamics, and involves using an estimate of the gradient of the log-posterior based on a data sub-sample. We thus call this class of algorithms stochastic-gradient PDMPs. Importantly, the trajectories of stochastic-gradient PDMPs are continuous and can leverage recent ideas for sampling from measures with continuous and atomic components. We show these methods are easy to implement, present results on their approximation error and demonstrate numerically that this class of algorithms has similar efficiency to, but is more robust than, stochastic gradient Langevin dynamics.
• Abstract（参考訳）: 近年の研究では、モンテカルロ法を用いて、目的とする関心の分布から標本を抽出することを提案している。 PDMPは運動量を持つ非可逆連続時間プロセスであり、そのため標準可逆MCMCサンプリングよりも良い混合が可能である。 さらに、各イテレーションで1つの(ランダムに選択された)データポイントのみにアクセスする必要がある正確なサブサンプリングスキームを組み込むこともできるが、アルゴリズムの定常分布にバイアスを課すことはない。 しかし、PDMPが特にサブサンプリングで使用できるモデルの範囲は限られている。 後方分布からのスケーラブルサンプリングのためのサブサンプリングによるPDMPの近似シミュレーションを提案する。 この近似は、真のPDMPダイナミクスに対するオイラー近似の形をとり、データサブサンプルに基づいて、ログポストの勾配を推定する。 そこで我々は,このアルゴリズムを確率階調PDMPと呼ぶ。 重要なことに、確率勾配PDMPの軌跡は連続であり、連続成分および原子成分を用いた測定からサンプリングするための最近のアイデアを活用できる。 これらの手法は実装が容易であることが示され、近似誤差の結果を示し、このアルゴリズムのクラスは確率勾配ランゲヴィン力学と似ているが、より堅牢であることを示す。

関連論文リスト

• Closed-form Filtering for Non-linear Systems [83.91296397912218]
  我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。 本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。 提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
  論文  参考訳（メタデータ） (2024-02-15T08:51:49Z)
• AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
  既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。 本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。 本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。 次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
  論文  参考訳（メタデータ） (2023-07-20T09:06:21Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Plug-and-Play split Gibbs sampler: embedding deep generative priors in Bayesian inference [12.91637880428221]
  本稿では, 後方分布から効率的にサンプリングするために, 可変分割を利用したプラグアンドプレイサンプリングアルゴリズムを提案する。 後方サンプリングの課題を2つの単純なサンプリング問題に分割する。 その性能は最近の最先端の最適化とサンプリング手法と比較される。
  論文  参考訳（メタデータ） (2023-04-21T17:17:51Z)
• Unsupervised Learning of Sampling Distributions for Particle Filters [80.6716888175925]
  観測結果からサンプリング分布を学習する4つの方法を提案する。 実験により、学習されたサンプリング分布は、設計された最小縮退サンプリング分布よりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2023-02-02T15:50:21Z)
• Optimality Guarantees for Particle Belief Approximation of POMDPs [55.83001584645448]
  部分的に観測可能なマルコフ決定プロセス(POMDP)は、現実の意思決定と制御の問題に対する柔軟な表現を提供する。 POMDPは、特に状態と観測空間が連続的またはハイブリッドである場合、解決するのが非常に難しい。 本稿では,これらのアルゴリズムが使用する粒子フィルタリング手法の近似誤差を特徴付ける理論を提案する。
  論文  参考訳（メタデータ） (2022-10-10T21:11:55Z)
• Continuously-Tempered PDMP Samplers [2.294014185517203]
  提案手法は, 断片的決定論的マルコフ過程の混合をいかに促進するかを示す。 後部分布の状態と逆温度に定義された拡張分布を導入する。 本稿では,PDMP,特にZig-Zagサンプルを,このような拡張分布からサンプルとして実装する方法を示す。
  論文  参考訳（メタデータ） (2022-05-19T13:32:44Z)
• Sampling Approximately Low-Rank Ising Models: MCMC meets Variational Methods [35.24886589614034]
  一般相互作用が$J$である超キューブ上の二次定値イジングモデルを考える。 我々の一般的な結果は、低ランクのIsingモデルに対する最初のサンプリングアルゴリズムを示唆している。
  論文  参考訳（メタデータ） (2022-02-17T21:43:50Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• Reversible Jump PDMP Samplers for Variable Selection [1.5469452301122175]
  分数的決定論的マルコフ過程(PDMP)に基づくモンテカルロアルゴリズムの新しいクラスは、最近大きな可能性を示している。 PDMPサンプリング装置は、ほぼ至る所で識別可能な後部密度からのみサンプリングすることができる。 モデルの離散空間とパラメータの連続空間を共同で探索できる可逆ジャンプPDMPサンプリング器の開発方法について述べる。
  論文  参考訳（メタデータ） (2020-10-22T14:46:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。