論文の概要: Enhanced gradient-based MCMC in discrete spaces
- arxiv url: http://arxiv.org/abs/2208.00040v1
- Date: Fri, 29 Jul 2022 18:48:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-02 13:05:46.679950
- Title: Enhanced gradient-based MCMC in discrete spaces
- Title(参考訳): 離散空間における拡張勾配に基づくMCMC
- Authors: Benjamin Rhodes and Michael Gutmann
- Abstract要約: 概念的にはMALAにインスパイアされたメトロポリス・ハスティングス・サンプルを複数導入する。
ベイジアン推論とエネルギーベースモデリングにおいて, 様々なサンプリング問題に対して, 強烈な実験性能を示す。
- 参考スコア(独自算出の注目度): 2.7158841992922875
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent introduction of gradient-based MCMC for discrete spaces holds
great promise, and comes with the tantalising possibility of new discrete
counterparts to celebrated continuous methods such as MALA and HMC. Towards
this goal, we introduce several discrete Metropolis-Hastings samplers that are
conceptually-inspired by MALA, and demonstrate their strong empirical
performance across a range of challenging sampling problems in Bayesian
inference and energy-based modelling. Methodologically, we identify why
discrete analogues to preconditioned MALA are generally intractable, motivating
us to introduce a new kind of preconditioning based on auxiliary variables and
the `Gaussian integral trick'.
- Abstract(参考訳): 最近の離散空間に対する勾配に基づくMCMCの導入は大きな約束であり、MALAやHMCのような祝福された連続的な手法に新しい離散的手法が加わる可能性も伴う。
この目的に向けて,MALA に触発された離散メトロポリス・ハスティングスサンプルを導入し,ベイジアン推論やエネルギーベースモデリングにおいて,様々な挑戦的なサンプリング問題において,その強力な経験的性能を示す。
方法論上,プリコンディショルドマラへの離散的類似が一般に難解である理由を解明し,補助変数と「ガウス積分トリック」に基づく新しいプレコンディショニングを導入する動機付けを行った。
関連論文リスト
- Repelling-Attracting Hamiltonian Monte Carlo [0.8158530638728501]
我々は、ハミルトニアンモンテカルロの変種(Repelling-Attracting Hamiltonian Monte Carlo (RAHMC))を提案する。
RAHMCには2つのステージがある: サンプルが高確率密度の領域から遠ざかるように促すモード推進段階と、サンプルが代替モードに近づいたり落ち着いたりするためのモード抽出段階である。
論文 参考訳(メタデータ) (2024-03-07T15:54:55Z) - ClusterDDPM: An EM clustering framework with Denoising Diffusion
Probabilistic Models [9.91610928326645]
拡散確率モデル(DDPM)は、新しい、そして有望な生成モデルのクラスを表す。
本研究では,DDPMを用いたクラスタリングのための革新的予測最大化(EM)フレームワークを提案する。
Mステップでは、条件付きDDPMを用いてクラスタリングに親しみやすい潜在表現を学習し、潜在表現の分布をガウスの先行表現の混合と整合させることに重点を置いている。
論文 参考訳(メタデータ) (2023-12-13T10:04:06Z) - Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。
本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-10-05T00:23:34Z) - Chebyshev Particles [0.0]
まず、対象の後方分布を無限次元ユークリッド空間におけるサンプルの写像として考える。
重み付けされたリース分極量を最大化して、ペアの相互作用により、補正可能な部分多様体を識別する新しい基準を提案する。
我々は,合成データを用いた線形状態空間モデルと実世界のデータを用いた非線形ボラティリティモデルを用いたパラメータ推論実験により,高い性能を実現した。
論文 参考訳(メタデータ) (2023-09-10T16:40:30Z) - Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。
難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
論文 参考訳(メタデータ) (2023-06-13T17:56:02Z) - Free-Form Variational Inference for Gaussian Process State-Space Models [21.644570034208506]
ベイズGPSSMにおける新しい推論法を提案する。
本手法はハミルトニアンモンテカルロの誘導による自由形式変分推論に基づく。
提案手法は, 競合する手法よりも, 遷移力学や潜伏状態をより正確に学習できることを示す。
論文 参考訳(メタデータ) (2023-02-20T11:34:16Z) - Clipped Stochastic Methods for Variational Inequalities with
Heavy-Tailed Noise [64.85879194013407]
単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。
この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。
さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
論文 参考訳(メタデータ) (2022-06-02T15:21:55Z) - Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。
また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
論文 参考訳(メタデータ) (2021-02-08T20:08:50Z) - Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。
本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。
本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文 参考訳(メタデータ) (2021-02-04T02:21:08Z) - MMCGAN: Generative Adversarial Network with Explicit Manifold Prior [78.58159882218378]
本稿では,モード崩壊を緩和し,GANのトレーニングを安定させるために,明示的な多様体学習を採用することを提案する。
玩具データと実データの両方を用いた実験により,MMCGANのモード崩壊緩和効果,トレーニングの安定化,生成サンプルの品質向上効果が示された。
論文 参考訳(メタデータ) (2020-06-18T07:38:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。