論文の概要: MCMC Should Mix: Learning Energy-Based Model with Neural Transport
Latent Space MCMC
- arxiv url: http://arxiv.org/abs/2006.06897v2
- Date: Wed, 16 Mar 2022 07:53:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-11-22 02:33:17.278705
- Title: MCMC Should Mix: Learning Energy-Based Model with Neural Transport
Latent Space MCMC
- Title（参考訳）: MCMC:ニューラルトランスポート・スペースMCMCを用いたエネルギーベースモデル学習
- Authors: Erik Nijkamp, Ruiqi Gao, Pavel Sountsov, Srinivas Vasudevan, Bo Pang,
Song-Chun Zhu, Ying Nian Wu
- Abstract要約: 学習エネルギーベースモデル(EBM)は学習アルゴリズムの内部ループとして学習モデルのMCMCサンプリングを必要とする。
バックボーンモデルの潜伏変数の空間において、モデルは特に単純であることを示す。
- 参考スコア（独自算出の注目度）: 110.02001052791353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning energy-based model (EBM) requires MCMC sampling of the learned model
as an inner loop of the learning algorithm. However, MCMC sampling of EBMs in
high-dimensional data space is generally not mixing, because the energy
function, which is usually parametrized by a deep network, is highly
multi-modal in the data space. This is a serious handicap for both theory and
practice of EBMs. In this paper, we propose to learn an EBM with a flow-based
model (or in general a latent variable model) serving as a backbone, so that
the EBM is a correction or an exponential tilting of the flow-based model. We
show that the model has a particularly simple form in the space of the latent
variables of the backbone model, and MCMC sampling of the EBM in the latent
space mixes well and traverses modes in the data space. This enables proper
sampling and learning of EBMs.
- Abstract（参考訳）: 学習エネルギーベースモデル(EBM)は学習アルゴリズムの内部ループとして学習モデルのMCMCサンプリングを必要とする。
しかし、高次元データ空間におけるebmのサンプリングは一般に混合ではない。なぜなら、通常、深層ネットワークによってパラメータ化されるエネルギー関数は、データ空間において高度にマルチモーダルであるからである。
これはebmsの理論と実践の両方にとって深刻なハンディキャップである。
本稿では,フローベースモデル(一般的には潜伏変数モデル)をバックボーンとして用いたESMを学習し,ESMがフローベースモデルの補正あるいは指数傾斜となるようにすることを提案する。
本稿では,背骨モデルの潜伏変数の空間において,モデルが特に単純であることを示し,潜伏空間におけるEMMのMCMCサンプリングは,データ空間における横モードをうまく混合することを示した。
これにより、ebmの適切なサンプリングと学習が可能になる。
関連論文リスト
- Learning Energy-based Model via Dual-MCMC Teaching [5.31573596283377]
最大推定量(MLE)を用いてエネルギーベースモデル(EBM)を学習する。
本稿では,エネルギーベースモデル(EBM)の基本学習問題について考察する。
論文 参考訳（メタデータ） (2023-12-05T03:39:54Z) - Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。
本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-05T00:23:34Z) - Guiding Energy-based Models via Contrastive Latent Variables [81.68492940158436]
エネルギーベースモデル(EBM)は、明示的な密度とアーキテクチャの柔軟性の両方を提供する一般的な生成フレームワークである。
EBMとGANのような生成フレームワークの間には、世代品質の点で大きなギャップがあることが多い。
コントラスト表現学習によるESM改善のための新しい効果的なフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T10:50:25Z) - Mitigating Out-of-Distribution Data Density Overestimation in
Energy-Based Models [54.06799491319278]
深部エネルギーベースモデル(EBM)は、複雑な分布を学習する能力によって注目されている。
EBMの訓練には、Langevin Monte Carlo (LMC) を用いた最大推定(MLE)を用いることが多い。
短周期LCCのMLEが, 誤った密度推定でEMMに収束する理由を考察する。
論文 参考訳（メタデータ） (2022-05-30T02:49:17Z) - Learning Energy-Based Model with Variational Auto-Encoder as Amortized
Sampler [35.80109055748496]
最大確率でエネルギーベースモデル(ebms)を訓練するにはマルコフ連鎖モンテカルロサンプリングが必要である。
我々は、エネルギー関数から派生したランゲビンダイナミクスのような有限ステップMCMCを初期化する変分オートエンコーダ(VAE)を学びます。
これらのアモールト化MCMCサンプルにより、ESMは「合成による分析」スキームに従って最大で訓練することができる。
我々はこの共同学習アルゴリズムを変分MCMC教育と呼び、VAEはEMMをデータ分布に向けて追従する。
論文 参考訳（メタデータ） (2020-12-29T20:46:40Z) - No MCMC for me: Amortized sampling for fast and stable training of
energy-based models [62.1234885852552]
エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。
本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。
次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
論文 参考訳（メタデータ） (2020-10-08T19:17:20Z) - Learning Latent Space Energy-Based Prior Model [118.86447805707094]
我々はジェネレータモデルの潜在空間でエネルギーベースモデル(EBM)を学習する。
学習したモデルが画像やテキストの生成や異常検出の点で強い性能を示すことを示す。
論文 参考訳（メタデータ） (2020-06-15T08:11:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。