論文の概要: M-EBM: Towards Understanding the Manifolds of Energy-Based Models
- arxiv url: http://arxiv.org/abs/2303.04343v1
- Date: Wed, 8 Mar 2023 02:38:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-09 15:19:30.939165
- Title: M-EBM: Towards Understanding the Manifolds of Energy-Based Models
- Title（参考訳）: M-EBM:エネルギーモデルの構築に向けて
- Authors: Xiulong Yang and Shihao Ji
- Abstract要約: 非条件ESMとジョイントエネルギーベースモデル(JEM)の全体的な性能を向上させるためのマニフォールドEMM(M-EBM)を提案する。
M-EBMは、ベンチマークデータセットのホスト上でのトレーニングの安定性とスピードにおいて、無条件のEMMを大幅に改善する。
クラスラベルが利用可能になると、ラベル付きM-EBM (M-JEM) はさらに画像生成品質の M-EBM を超え、40%以上のFID改善がなされる。
- 参考スコア（独自算出の注目度）: 0.913755431537592
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Energy-based models (EBMs) exhibit a variety of desirable properties in
predictive tasks, such as generality, simplicity and compositionality. However,
training EBMs on high-dimensional datasets remains unstable and expensive. In
this paper, we present a Manifold EBM (M-EBM) to boost the overall performance
of unconditional EBM and Joint Energy-based Model (JEM). Despite its
simplicity, M-EBM significantly improves unconditional EBMs in training
stability and speed on a host of benchmark datasets, such as CIFAR10, CIFAR100,
CelebA-HQ, and ImageNet 32x32. Once class labels are available,
label-incorporated M-EBM (M-JEM) further surpasses M-EBM in image generation
quality with an over 40% FID improvement, while enjoying improved accuracy. The
code can be found at https://github.com/sndnyang/mebm.
- Abstract（参考訳）: エネルギーベースモデル(EBM)は、一般性、単純性、構成性など、予測タスクにおいて様々な望ましい性質を示す。
しかし、高次元データセットでのebmのトレーニングは不安定で高価である。
本稿では,非条件ESMとジョイントエネルギーベースモデル(JEM)の総合性能を高めるためのマニフォールドEMM(M-EBM)を提案する。
その単純さにもかかわらず、M-EBMはCIFAR10、CIFAR100、CelebA-HQ、ImageNet 32x32といったベンチマークデータセットのホストのトレーニング安定性と速度の非条件ESMを大幅に改善した。
クラスラベルが利用可能になると、ラベル付きM-EBM(M-JEM)はさらに画像生成品質のM-EBMを40%以上改善し、精度の向上を享受する。
コードはhttps://github.com/sndnyang/mebm.comにある。
関連論文リスト
- Improving Adversarial Energy-Based Model via Diffusion Process [25.023967485839155]
対戦型EMMはミニマックストレーニングゲームを形成するジェネレータを導入する。
拡散モデルにインスパイアされた私たちは、長い過程をいくつかの小さなステップに分割するために、各デノイングステップにESMを組み込んだ。
本実験は, 既存の敵ESMと比較して, 世代が著しく改善したことを示す。
論文 参考訳（メタデータ） (2024-03-04T01:33:53Z) - Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。
本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-05T00:23:34Z) - Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。
EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。
本研究では,協調拡散回復可能性 (CDRL) を提案する。
論文 参考訳（メタデータ） (2023-09-10T22:05:24Z) - Guiding Energy-based Models via Contrastive Latent Variables [81.68492940158436]
エネルギーベースモデル(EBM)は、明示的な密度とアーキテクチャの柔軟性の両方を提供する一般的な生成フレームワークである。
EBMとGANのような生成フレームワークの間には、世代品質の点で大きなギャップがあることが多い。
コントラスト表現学習によるESM改善のための新しい効果的なフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T10:50:25Z) - No MCMC for me: Amortized sampling for fast and stable training of
energy-based models [62.1234885852552]
エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。
本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。
次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
論文 参考訳（メタデータ） (2020-10-08T19:17:20Z) - VAEBM: A Symbiosis between Variational Autoencoders and Energy-based
Models [84.14682116977433]
エネルギーベースモデル(EBM)は、最近、小さな画像の複雑な分布を表すことに成功している。
VAEBMは、最先端のVAEを使用して、データ分散の全体的なモード構造をキャプチャする。
EBMコンポーネントを使用して、モデルから非データライクな領域を明示的に排除し、イメージサンプルを精査する。
論文 参考訳（メタデータ） (2020-10-01T19:28:28Z) - MCMC Should Mix: Learning Energy-Based Model with Neural Transport
Latent Space MCMC [110.02001052791353]
学習エネルギーベースモデル(EBM)は学習アルゴリズムの内部ループとして学習モデルのMCMCサンプリングを必要とする。
バックボーンモデルの潜伏変数の空間において、モデルは特に単純であることを示す。
論文 参考訳（メタデータ） (2020-06-12T01:25:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。