論文の概要: Reversible Jump PDMP Samplers for Variable Selection

• arxiv url: http://arxiv.org/abs/2010.11771v1
• Date: Thu, 22 Oct 2020 14:46:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 07:45:09.954536
• Title: Reversible Jump PDMP Samplers for Variable Selection
• Title（参考訳）: 可変選択のための可逆ジャンプPDMPサンプリング器
• Authors: Augustin Chevallier, Paul Fearnhead, Matthew Sutton
• Abstract要約: 分数的決定論的マルコフ過程(PDMP)に基づくモンテカルロアルゴリズムの新しいクラスは、最近大きな可能性を示している。 PDMPサンプリング装置は、ほぼ至る所で識別可能な後部密度からのみサンプリングすることができる。 モデルの離散空間とパラメータの連続空間を共同で探索できる可逆ジャンプPDMPサンプリング器の開発方法について述べる。
• 参考スコア（独自算出の注目度）: 1.5469452301122175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A new class of Markov chain Monte Carlo (MCMC) algorithms, based on simulating piecewise deterministic Markov processes (PDMPs), have recently shown great promise: they are non-reversible, can mix better than standard MCMC algorithms, and can use subsampling ideas to speed up computation in big data scenarios. However, current PDMP samplers can only sample from posterior densities that are differentiable almost everywhere, which precludes their use for model choice. Motivated by variable selection problems, we show how to develop reversible jump PDMP samplers that can jointly explore the discrete space of models and the continuous space of parameters. Our framework is general: it takes any existing PDMP sampler, and adds two types of trans-dimensional moves that allow for the addition or removal of a variable from the model. We show how the rates of these trans-dimensional moves can be calculated so that the sampler has the correct invariant distribution. Simulations show that the new samplers can mix better than standard MCMC algorithms. Our empirical results show they are also more efficient than gradient-based samplers that avoid model choice through use of continuous spike-and-slab priors which replace a point mass at zero for each parameter with a density concentrated around zero.
• Abstract（参考訳）: 完全決定論的マルコフプロセス(PDMP)をシミュレートした新しいクラスであるMCMCアルゴリズムは、最近大きな可能性を示している:それらは可逆性があり、標準のMCMCアルゴリズムよりも優れた混合が可能であり、ビッグデータシナリオでの計算を高速化するためにサブサンプリングのアイデアを使用することができる。 しかし、現在のPDMPサンプリング装置は、ほぼどこでも識別可能な後部密度からのみサンプリングすることができ、モデル選択に使用できない。 変数選択問題に動機づけられ,モデルの離散空間とパラメータの連続空間を共同で探索できる可逆ジャンプpdmpサンプラーの開発方法を示す。 我々のフレームワークは一般的なもので、既存のPDMPサンプリング装置を取り、モデルから変数の追加や削除を可能にする2種類のトランス次元の動きを追加します。 これらのトランス次元移動の速度が、サンプラーが正しい不変分布を持つようにどのように計算できるかを示す。 シミュレーションにより、新しいサンプルは標準のMCMCアルゴリズムよりもうまく混合できることが示されている。 実験の結果,各パラメータの点質量を0に置き換える連続スパイク・アンド・スラブ先行法を用いることで,モデル選択を回避できる勾配型サンプリング器よりも効率的であることがわかった。

関連論文リスト

• Stochastic Sampling from Deterministic Flow Models [8.849981177332594]
  そこで本論文では,フローモデルを同じ境界分布を持つ微分方程式の族(SDE)に変換する手法を提案する。 我々は,おもちゃのガウスセットアップと大規模イメージネット生成タスクにおいて,提案手法の利点を実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-03T05:18:28Z)
• Stochastic Gradient Piecewise Deterministic Monte Carlo Samplers [3.487370856323828]
  近年の研究では、モンテカルロ法を用いて、目的とする関心の分布から標本を抽出することを提案している。 後方分布からのスケーラブルサンプリングのためのサブサンプリングによるPDMPの近似シミュレーションを提案する。 これらの手法は実装が容易であることが示され、近似誤差の結果を示し、このアルゴリズムのクラスが勾配ランゲヴィン力学と類似の効率を持つことを示す。
  論文  参考訳（メタデータ） (2024-06-27T09:59:28Z)
• A Block Metropolis-Hastings Sampler for Controllable Energy-based Text Generation [78.81021361497311]
  我々は,大規模言語モデルの反復的プロンプトを通じて,各ステップにおけるシーケンス全体の書き直しを提案する新しいメトロポリス・ハスティングス(MH)サンプリング器を開発した。 対象分布からより効率的かつ正確なサンプリングが可能となり, (b) 事前に固定するのではなく, サンプリング手順により生成長を決定することが可能となった。
  論文  参考訳（メタデータ） (2023-12-07T18:30:15Z)
• AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
  既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。 本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。 本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。 次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
  論文  参考訳（メタデータ） (2023-07-20T09:06:21Z)
• On Calibrating Diffusion Probabilistic Models [78.75538484265292]
  拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。 そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。 キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
  論文  参考訳（メタデータ） (2023-02-21T14:14:40Z)
• Learning Sampling Distributions for Model Predictive Control [36.82905770866734]
  モデル予測制御(MPC)に対するサンプリングに基づくアプローチは、MPCに対する現代のアプローチの基盤となっている。 我々は、学習された分布を最大限に活用できるように、潜在空間における全ての操作を実行することを提案する。 具体的には、学習問題を双方向の最適化として捉え、バックプロパゲーションスルータイムでコントローラをトレーニングする方法を示す。
  論文  参考訳（メタデータ） (2022-12-05T20:35:36Z)
• A new perspective on probabilistic image modeling [92.89846887298852]
  本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。 DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。 本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
  論文  参考訳（メタデータ） (2022-03-21T14:53:57Z)
• Sampling Approximately Low-Rank Ising Models: MCMC meets Variational Methods [35.24886589614034]
  一般相互作用が$J$である超キューブ上の二次定値イジングモデルを考える。 我々の一般的な結果は、低ランクのIsingモデルに対する最初のサンプリングアルゴリズムを示唆している。
  論文  参考訳（メタデータ） (2022-02-17T21:43:50Z)
• Efficient Learning of the Parameters of Non-Linear Models using Differentiable Resampling in Particle Filters [1.9499120576896227]
  粒子フィルタにおけるサンプリングと再サンプリングのステップを区別することが広く文書化されている。 2つの状態空間モデルを検討し、NUTSがマルコフ連鎖の混合を改善し、計算時間の短縮でより正確な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-11-02T08:03:09Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
  このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。 また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
  論文  参考訳（メタデータ） (2021-02-08T20:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。