論文の概要: Learning Latent Space Energy-Based Prior Model
- arxiv url: http://arxiv.org/abs/2006.08205v2
- Date: Thu, 29 Oct 2020 12:35:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 02:57:49.467698
- Title: Learning Latent Space Energy-Based Prior Model
- Title（参考訳）: 潜在空間エネルギーに基づく事前モデル学習
- Authors: Bo Pang, Tian Han, Erik Nijkamp, Song-Chun Zhu, Ying Nian Wu
- Abstract要約: 我々はジェネレータモデルの潜在空間でエネルギーベースモデル(EBM)を学習する。
学習したモデルが画像やテキストの生成や異常検出の点で強い性能を示すことを示す。
- 参考スコア（独自算出の注目度）: 118.86447805707094
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose to learn energy-based model (EBM) in the latent space of a
generator model, so that the EBM serves as a prior model that stands on the
top-down network of the generator model. Both the latent space EBM and the
top-down network can be learned jointly by maximum likelihood, which involves
short-run MCMC sampling from both the prior and posterior distributions of the
latent vector. Due to the low dimensionality of the latent space and the
expressiveness of the top-down network, a simple EBM in latent space can
capture regularities in the data effectively, and MCMC sampling in latent space
is efficient and mixes well. We show that the learned model exhibits strong
performances in terms of image and text generation and anomaly detection. The
one-page code can be found in supplementary materials.
- Abstract（参考訳）: 我々は,発電機モデルの潜在空間におけるエネルギーベースモデル(ebm)の学習を提案し,ebmは発電機モデルのトップダウンネットワーク上にある先行モデルとして機能する。
潜伏空間 EBM とトップダウンネットワークの両方は、潜伏ベクトルの前と後の両方の分布から短周期のMCMCサンプリングを伴って、最大確率で共同で学習することができる。
潜時空間の低次元性とトップダウンネットワークの表現性のため、潜時空間における単純なebmはデータの正則性を効果的に捉えることができ、潜時空間におけるmcmcサンプリングは効率的でよく混合される。
学習したモデルが画像やテキストの生成や異常検出において強い性能を示すことを示す。
1ページのコードは補足資料で見ることができる。
関連論文リスト
- Learning Latent Space Hierarchical EBM Diffusion Models [4.4996462447311725]
エネルギーベース先行モデルと多層ジェネレータモデルの学習問題について検討する。
近年,エネルギーベースモデル(EBM)を第2段階の補完モデルとして学習し,ギャップを埋める研究が進められている。
本研究では,EBMサンプリングの負担を軽減するために拡散確率スキームを活用することを提案する。
論文 参考訳（メタデータ） (2024-05-22T18:34:25Z) - Learning Energy-based Model via Dual-MCMC Teaching [5.31573596283377]
最大推定量(MLE)を用いてエネルギーベースモデル(EBM)を学習する。
本稿では,エネルギーベースモデル(EBM)の基本学習問題について考察する。
論文 参考訳（メタデータ） (2023-12-05T03:39:54Z) - Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。
本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-05T00:23:34Z) - Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。
EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。
本研究では,協調拡散回復可能性 (CDRL) を提案する。
論文 参考訳（メタデータ） (2023-09-10T22:05:24Z) - Latent Diffusion Energy-Based Model for Interpretable Text Modeling [104.85356157724372]
本稿では,拡散モデルと潜時空間ESMの共生を変動学習フレームワークで導入する。
我々は,学習した潜在空間の品質を向上させるために,情報ボトルネックと合わせて幾何学的クラスタリングに基づく正規化を開発する。
論文 参考訳（メタデータ） (2022-06-13T03:41:31Z) - No MCMC for me: Amortized sampling for fast and stable training of
energy-based models [62.1234885852552]
エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。
本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。
次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
論文 参考訳（メタデータ） (2020-10-08T19:17:20Z) - MCMC Should Mix: Learning Energy-Based Model with Neural Transport
Latent Space MCMC [110.02001052791353]
学習エネルギーベースモデル(EBM)は学習アルゴリズムの内部ループとして学習モデルのMCMCサンプリングを必要とする。
バックボーンモデルの潜伏変数の空間において、モデルは特に単純であることを示す。
論文 参考訳（メタデータ） (2020-06-12T01:25:51Z) - Generalized Energy Based Models [35.49065282173972]
本稿では,ジェネレーティブ・モデリングのための一般エネルギーベース・モデル(GEBM)を紹介する。
エネルギー関数と基底の両方が、基底分布のみを保持するGANとは異なり、最終的なモデルを構成する。
両方のトレーニングステージが明確に定義されていることを示す。
論文 参考訳（メタデータ） (2020-03-10T23:22:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。