論文の概要: Oops I Took A Gradient: Scalable Sampling for Discrete Distributions
- arxiv url: http://arxiv.org/abs/2102.04509v1
- Date: Mon, 8 Feb 2021 20:08:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-10 22:42:11.182086
- Title: Oops I Took A Gradient: Scalable Sampling for Discrete Distributions
- Title（参考訳）: Oops I Took A Gradient: 分散分散のためのスケーラブルなサンプリング
- Authors: Will Grathwohl, Kevin Swersky, Milad Hashemi, David Duvenaud, Chris J.
Maddison
- Abstract要約: このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。
また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
- 参考スコア（独自算出の注目度）: 53.3142984019796
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a general and scalable approximate sampling strategy for
probabilistic models with discrete variables. Our approach uses gradients of
the likelihood function with respect to its discrete inputs to propose updates
in a Metropolis-Hastings sampler. We show empirically that this approach
outperforms generic samplers in a number of difficult settings including Ising
models, Potts models, restricted Boltzmann machines, and factorial hidden
Markov models. We also demonstrate the use of our improved sampler for training
deep energy-based models on high dimensional discrete data. This approach
outperforms variational auto-encoders and existing energy-based models.
Finally, we give bounds showing that our approach is near-optimal in the class
of samplers which propose local updates.
- Abstract（参考訳）: 離散変数を持つ確率モデルに対する汎用的かつスケーラブルな近似サンプリング戦略を提案する。
提案手法は, 離散入力に対する確率関数の勾配を用いて, メトロポリス・ハスティングスサンプリング器の更新を提案する。
我々は、このアプローチがIsingモデル、Pottsモデル、制限ボルツマンマシン、および因子的隠れマルコフモデルを含む多くの困難な設定でジェネリックサンプラーを上回っていることを実証的に示す。
また,高次元離散データを用いた深層エネルギーモデル学習における改良サンプラーの使用例を示す。
このアプローチは変分オートエンコーダや既存のエネルギーベースのモデルを上回る。
最後に、ローカル更新を提案するスプリマーのクラスで、我々のアプローチがほぼ最適であることを示す境界を与える。
関連論文リスト
- Unified Convergence Analysis for Score-Based Diffusion Models with Deterministic Samplers [49.1574468325115]
決定論的サンプリングのための統合収束分析フレームワークを提案する。
我々のフレームワークは$tilde O(d2/epsilon)$の反復複雑性を実現する。
また,Denoising Implicit Diffusion Models (DDIM) タイプのサンプルについて詳細な分析を行った。
論文 参考訳（メタデータ） (2024-10-18T07:37:36Z) - Self-Guided Generation of Minority Samples Using Diffusion Models [57.319845580050924]
データ多様体の低密度領域に居住する少数サンプルを生成するための新しい手法を提案する。
我々のフレームワークは拡散モデルに基づいて構築されており、ガイドドサンプリングの原理を生かしている。
実データセットのベンチマーク実験により、我々のアプローチは現実的な低自由度マイノリティインスタンスを作成する能力を大幅に改善できることが示された。
論文 参考訳（メタデータ） (2024-07-16T10:03:29Z) - A Diffusion Model Framework for Unsupervised Neural Combinatorial Optimization [7.378582040635655]
現在のディープラーニングアプローチは、正確なサンプル確率を生み出す生成モデルに依存している。
この研究は、この制限を解除し、高度に表現力のある潜在変数モデルを採用する可能性を開放する手法を導入する。
我々は,データフリーなコンビネーション最適化におけるアプローチを実験的に検証し,幅広いベンチマーク問題に対して新しい最先端の手法を実現することを実証した。
論文 参考訳（メタデータ） (2024-06-03T17:55:02Z) - Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。
本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
論文 参考訳（メタデータ） (2024-04-26T06:00:27Z) - Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。
難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
論文 参考訳（メタデータ） (2023-06-13T17:56:02Z) - Example-Based Sampling with Diffusion Models [7.943023838493658]
画像生成のための拡散モデルは、例から点集合を生成する方法を学ぶのに適している。
拡散モデルを用いて既存のサンプルを模した2次元点集合を観測点集合から生成する方法を提案する。
我々は、我々のアプローチの微分可能性を用いて、特性を強制する点集合を最適化する方法を実証する。
論文 参考訳（メタデータ） (2023-02-10T08:35:17Z) - Fully Bayesian Autoencoders with Latent Sparse Gaussian Processes [23.682509357305406]
オートエンコーダとその変種は表現学習と生成モデリングにおいて最も広く使われているモデルの一つである。
ベイジアンオートエンコーダの潜在空間に完全スパースガウスプロセス先行を課す新しいスパースガウスプロセスベイジアンオートエンコーダモデルを提案する。
論文 参考訳（メタデータ） (2023-02-09T09:57:51Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳（メタデータ） (2021-10-20T12:25:22Z) - On the Variational Posterior of Dirichlet Process Deep Latent Gaussian
Mixture Models [0.0]
ディリクレプロセスDep Latent Gaussian Mixture Model(DP-DLGMM)の後方変化に対する代替的治療法を提案する。
本モデルでは,得られたクラスタ毎に実例を生成でき,半教師付き環境での競合性能を示す。
論文 参考訳（メタデータ） (2020-06-16T08:46:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。