論文の概要: Oops I Took A Gradient: Scalable Sampling for Discrete Distributions
- arxiv url: http://arxiv.org/abs/2102.04509v1
- Date: Mon, 8 Feb 2021 20:08:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-10 22:42:11.182086
- Title: Oops I Took A Gradient: Scalable Sampling for Discrete Distributions
- Title(参考訳): Oops I Took A Gradient: 分散分散のためのスケーラブルなサンプリング
- Authors: Will Grathwohl, Kevin Swersky, Milad Hashemi, David Duvenaud, Chris J.
Maddison
- Abstract要約: このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。
また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
- 参考スコア(独自算出の注目度): 53.3142984019796
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a general and scalable approximate sampling strategy for
probabilistic models with discrete variables. Our approach uses gradients of
the likelihood function with respect to its discrete inputs to propose updates
in a Metropolis-Hastings sampler. We show empirically that this approach
outperforms generic samplers in a number of difficult settings including Ising
models, Potts models, restricted Boltzmann machines, and factorial hidden
Markov models. We also demonstrate the use of our improved sampler for training
deep energy-based models on high dimensional discrete data. This approach
outperforms variational auto-encoders and existing energy-based models.
Finally, we give bounds showing that our approach is near-optimal in the class
of samplers which propose local updates.
- Abstract(参考訳): 離散変数を持つ確率モデルに対する汎用的かつスケーラブルな近似サンプリング戦略を提案する。
提案手法は, 離散入力に対する確率関数の勾配を用いて, メトロポリス・ハスティングスサンプリング器の更新を提案する。
我々は、このアプローチがIsingモデル、Pottsモデル、制限ボルツマンマシン、および因子的隠れマルコフモデルを含む多くの困難な設定でジェネリックサンプラーを上回っていることを実証的に示す。
また,高次元離散データを用いた深層エネルギーモデル学習における改良サンプラーの使用例を示す。
このアプローチは変分オートエンコーダや既存のエネルギーベースのモデルを上回る。
最後に、ローカル更新を提案するスプリマーのクラスで、我々のアプローチがほぼ最適であることを示す境界を与える。
関連論文リスト
- Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。
難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
論文 参考訳(メタデータ) (2023-06-13T17:56:02Z) - Example-Based Sampling with Diffusion Models [7.943023838493658]
画像生成のための拡散モデルは、例から点集合を生成する方法を学ぶのに適している。
拡散モデルを用いて既存のサンプルを模した2次元点集合を観測点集合から生成する方法を提案する。
我々は、我々のアプローチの微分可能性を用いて、特性を強制する点集合を最適化する方法を実証する。
論文 参考訳(メタデータ) (2023-02-10T08:35:17Z) - Fully Bayesian Autoencoders with Latent Sparse Gaussian Processes [23.682509357305406]
オートエンコーダとその変種は表現学習と生成モデリングにおいて最も広く使われているモデルの一つである。
ベイジアンオートエンコーダの潜在空間に完全スパースガウスプロセス先行を課す新しいスパースガウスプロセスベイジアンオートエンコーダモデルを提案する。
論文 参考訳(メタデータ) (2023-02-09T09:57:51Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳(メタデータ) (2022-11-30T05:33:29Z) - Learning Summary Statistics for Bayesian Inference with Autoencoders [58.720142291102135]
我々は,ディープニューラルネットワークに基づくオートエンコーダの内部次元を要約統計として利用する。
パラメータ関連情報を全て符号化するエンコーダのインセンティブを作成するため,トレーニングデータの生成に使用した暗黙的情報にデコーダがアクセスできるようにする。
論文 参考訳(メタデータ) (2022-01-28T12:00:31Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳(メタデータ) (2021-10-20T12:25:22Z) - Improved Denoising Diffusion Probabilistic Models [4.919647298882951]
その結果,ddpmは高いサンプル品質を維持しつつ,競合的なログライク性を達成できることがわかった。
また,逆拡散過程の学習分散により,フォワードパスが桁違いに小さくサンプリングできることがわかった。
これらのモデルのサンプルの品質と可能性について,モデルのキャパシティとトレーニング計算でスムーズに拡張できることを示し,スケーラビリティを向上する。
論文 参考訳(メタデータ) (2021-02-18T23:44:17Z) - On the Variational Posterior of Dirichlet Process Deep Latent Gaussian
Mixture Models [0.0]
ディリクレプロセスDep Latent Gaussian Mixture Model(DP-DLGMM)の後方変化に対する代替的治療法を提案する。
本モデルでは,得られたクラスタ毎に実例を生成でき,半教師付き環境での競合性能を示す。
論文 参考訳(メタデータ) (2020-06-16T08:46:18Z) - Particle-Gibbs Sampling For Bayesian Feature Allocation Models [77.57285768500225]
最も広く使われているMCMC戦略は、特徴割り当て行列のギブス更新に頼っている。
単一移動で特徴割り当て行列の全行を更新できるギブスサンプリング器を開発した。
このサンプルは、計算複雑性が特徴数で指数関数的にスケールするにつれて、多数の特徴を持つモデルにとって実用的ではない。
我々は,行ワイズギブズ更新と同じ分布を目標としたパーティクルギブズサンプルの開発を行うが,特徴数でのみ線形に増大する計算複雑性を有する。
論文 参考訳(メタデータ) (2020-01-25T22:11:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。