論文の概要: Learning Energy-Based Prior Model with Diffusion-Amortized MCMC
- arxiv url: http://arxiv.org/abs/2310.03218v1
- Date: Thu, 5 Oct 2023 00:23:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-06 19:47:46.480057
- Title: Learning Energy-Based Prior Model with Diffusion-Amortized MCMC
- Title（参考訳）: 拡散補正MCMCを用いた学習エネルギーベース事前モデル
- Authors: Peiyu Yu, Yaxuan Zhu, Sirui Xie, Xiaojian Ma, Ruiqi Gao, Song-Chun
Zhu, Ying Nian Wu
- Abstract要約: 非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。
本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
- 参考スコア（独自算出の注目度）: 89.95629196907082
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Latent space Energy-Based Models (EBMs), also known as energy-based priors,
have drawn growing interests in the field of generative modeling due to its
flexibility in the formulation and strong modeling power of the latent space.
However, the common practice of learning latent space EBMs with non-convergent
short-run MCMC for prior and posterior sampling is hindering the model from
further progress; the degenerate MCMC sampling quality in practice often leads
to degraded generation quality and instability in training, especially with
highly multi-modal and/or high-dimensional target distributions. To remedy this
sampling issue, in this paper we introduce a simple but effective
diffusion-based amortization method for long-run MCMC sampling and develop a
novel learning algorithm for the latent space EBM based on it. We provide
theoretical evidence that the learned amortization of MCMC is a valid long-run
MCMC sampler. Experiments on several image modeling benchmark datasets
demonstrate the superior performance of our method compared with strong
counterparts
- Abstract（参考訳）: 潜在空間エネルギーベースモデル(英: latent space energy-based models、ebms)は、エネルギーベースの事前モデルとしても知られ、潜在空間の定式化と強力なモデリング能力の柔軟性から、生成モデリングの分野における関心が高まっている。
しかし,非収束短絡MCMCを用いた非収束短絡EMMを前・後サンプリングで学習する一般的な実践は,モデルがさらなる進歩を妨げている。
本稿では,このサンプリング問題を改善するために,長期MCMCサンプリングのための簡易かつ効果的な拡散ベース補正法を提案し,それに基づく潜伏空間EMMのための新しい学習アルゴリズムを開発した。
MCMCの学習的アモーティゼーションが,MCMCサンプルの有効長期化であることを示す理論的証拠を提供する。
複数の画像モデリングベンチマークデータセットを用いた実験により,本手法の優れた性能を示す。
関連論文リスト
- Learning Multimodal Latent Space with EBM Prior and MCMC Inference [4.003600947581215]
本稿では,マルチモーダル生成のための潜在空間における表現的エネルギーベースモデル(EBM)とマルコフ・チェイン・モンテカルロ(MCMC)推論とを結合したアプローチを提案する。
論文 参考訳（メタデータ） (2024-08-20T00:33:45Z) - STANLEY: Stochastic Gradient Anisotropic Langevin Dynamics for Learning
Energy-Based Models [41.031470884141775]
エネルギーベースモデル(EBM)のためのエンドツーエンド学習アルゴリズムを提案する。
本稿では、異方性段差と勾配インフォームド共分散行列に基づく新しい高次元サンプリング法を提案する。
提案手法,すなわちSTANLEYは,新しいMCMC法を用いてエネルギーベースモデルを学習するための最適化アルゴリズムである。
論文 参考訳（メタデータ） (2023-10-19T11:55:16Z) - Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。
EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。
本研究では,協調拡散回復可能性 (CDRL) を提案する。
論文 参考訳（メタデータ） (2023-09-10T22:05:24Z) - Latent Diffusion Energy-Based Model for Interpretable Text Modeling [104.85356157724372]
本稿では,拡散モデルと潜時空間ESMの共生を変動学習フレームワークで導入する。
我々は,学習した潜在空間の品質を向上させるために,情報ボトルネックと合わせて幾何学的クラスタリングに基づく正規化を開発する。
論文 参考訳（メタデータ） (2022-06-13T03:41:31Z) - No MCMC for me: Amortized sampling for fast and stable training of
energy-based models [62.1234885852552]
エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。
本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。
次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
論文 参考訳（メタデータ） (2020-10-08T19:17:20Z) - Learning Latent Space Energy-Based Prior Model [118.86447805707094]
我々はジェネレータモデルの潜在空間でエネルギーベースモデル(EBM)を学習する。
学習したモデルが画像やテキストの生成や異常検出の点で強い性能を示すことを示す。
論文 参考訳（メタデータ） (2020-06-15T08:11:58Z) - MCMC Should Mix: Learning Energy-Based Model with Neural Transport
Latent Space MCMC [110.02001052791353]
学習エネルギーベースモデル(EBM)は学習アルゴリズムの内部ループとして学習モデルのMCMCサンプリングを必要とする。
バックボーンモデルの潜伏変数の空間において、モデルは特に単純であることを示す。
論文 参考訳（メタデータ） (2020-06-12T01:25:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。