論文の概要: Learning Energy-Based Models by Cooperative Diffusion Recovery
Likelihood
- arxiv url: http://arxiv.org/abs/2309.05153v1
- Date: Sun, 10 Sep 2023 22:05:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 14:16:45.723944
- Title: Learning Energy-Based Models by Cooperative Diffusion Recovery
Likelihood
- Title(参考訳): 協調拡散回復様相によるエネルギーモデル学習
- Authors: Yaxuan Zhu, Jianwen Xie, Yingnian Wu, Ruiqi Gao
- Abstract要約: 高次元データに対する最大推定値のトレーニングエネルギーベースモデル(EBMs)は、困難かつ時間を要する可能性がある。
本研究では,データセットの雑音の増大する頂点上で定義された一連のEMMから,協調拡散回復確率(CDRL)を抽出し,抽出する手法を提案する。
CIFAR-10 と ImageNet 32x32 の既存 EBM 法と比較して FID のスコアが大幅に向上し,DRL を2倍高速化した。
- 参考スコア(独自算出の注目度): 70.96045509920326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training energy-based models (EBMs) with maximum likelihood estimation on
high-dimensional data can be both challenging and time-consuming. As a result,
there a noticeable gap in sample quality between EBMs and other generative
frameworks like GANs and diffusion models. To close this gap, inspired by the
recent efforts of learning EBMs by maximimizing diffusion recovery likelihood
(DRL), we propose cooperative diffusion recovery likelihood (CDRL), an
effective approach to tractably learn and sample from a series of EBMs defined
on increasingly noisy versons of a dataset, paired with an initializer model
for each EBM. At each noise level, the initializer model learns to amortize the
sampling process of the EBM, and the two models are jointly estimated within a
cooperative training framework. Samples from the initializer serve as starting
points that are refined by a few sampling steps from the EBM. With the refined
samples, the EBM is optimized by maximizing recovery likelihood, while the
initializer is optimized by learning from the difference between the refined
samples and the initial samples. We develop a new noise schedule and a variance
reduction technique to further improve the sample quality. Combining these
advances, we significantly boost the FID scores compared to existing EBM
methods on CIFAR-10 and ImageNet 32x32, with a 2x speedup over DRL. In
addition, we extend our method to compositional generation and image inpainting
tasks, and showcase the compatibility of CDRL with classifier-free guidance for
conditional generation, achieving similar trade-offs between sample quality and
sample diversity as in diffusion models.
- Abstract(参考訳): 高次元データに対する最大推定値のトレーニングエネルギーベースモデル(EBMs)は、困難かつ時間を要する可能性がある。
その結果、ESMとGANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質の顕著なギャップがある。
拡散回復率(DRL)を最大化してESMを学習する最近の取り組みに触発されたこのギャップを埋めるため,各ESMの初期化モデルと組み合わさったデータセットの騒々しい頂点上で定義された一連のESMから効果的に学習し,サンプルを抽出するための協調拡散回復可能性(CDRL)を提案する。
各ノイズレベルにおいて、初期化子モデルがebmのサンプリング過程を償却することを学習し、2つのモデルを協調訓練枠組み内で共同で推定する。
初期化器からのサンプルは、ebmからいくつかのサンプリングステップで洗練された出発点として機能する。
精製試料では回収可能性の最大化によりEBMを最適化し, 精製試料と初期試料との差から初期化装置を最適化した。
我々は,新しいノイズスケジュールと分散低減手法を開発し,サンプル品質をさらに向上させる。
CIFAR-10 と ImageNet 32x32 の既存 EBM 法と比較して FID のスコアが大幅に向上し,DRL を2倍高速化した。
さらに,本手法を合成生成および画像インペインティングタスクに拡張し,cdrlと条件生成のための分類器フリーガイダンスとの互換性を示し,拡散モデルと同様にサンプル品質とサンプル多様性のトレードオフを実現した。
関連論文リスト
- Generalized Contrastive Divergence: Joint Training of Energy-Based Model
and Diffusion Model through Inverse Reinforcement Learning [13.22531381403974]
Generalized Contrastive Divergence (GCD) はエネルギーベースモデル(EBM)とサンプルを同時にトレーニングするための新しい目的関数である。
EBMと拡散モデルの両方にジョイントトレーニングが有用であることを示す予備的かつ有望な結果を示す。
論文 参考訳(メタデータ) (2023-12-06T10:10:21Z) - Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。
本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-10-05T00:23:34Z) - Balanced Training of Energy-Based Models with Adaptive Flow Sampling [13.951904929884618]
エネルギーベースモデル (EBMs) は、非正規化ログ密度を直接パラメータ化する汎用密度推定モデルである。
我々は、異なる種類の生成モデル、正規化フロー(NF)を用いたESMのための新しい最大可能性トレーニングアルゴリズムを提案する。
本手法はトレーニング中にNFをEMMに適合させ,NF支援サンプリング方式によりESMの正確な勾配が常に得られるようにする。
論文 参考訳(メタデータ) (2023-06-01T13:58:06Z) - Diff-Instruct: A Universal Approach for Transferring Knowledge From
Pre-trained Diffusion Models [77.83923746319498]
本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。
Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。
GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
論文 参考訳(メタデータ) (2023-05-29T04:22:57Z) - Persistently Trained, Diffusion-assisted Energy-based Models [18.135784288023928]
我々は,拡散データを導入し,持続的トレーニングを通じて拡散補助EBMと呼ばれる共同ESMを学習する。
持続的に訓練されたESMは、長期安定、訓練後の画像生成、配当検出の精度の向上を同時に達成できることを示す。
論文 参考訳(メタデータ) (2023-04-21T02:29:18Z) - Controllable and Compositional Generation with Latent-Space Energy-Based
Models [60.87740144816278]
制御可能な生成は、現実世界のアプリケーションで深層生成モデルの採用を成功させる上で重要な要件の1つである。
本研究では, エネルギーモデル(EBM)を用いて, 属性の集合上での合成生成を扱う。
エネルギー関数を論理演算子と合成することにより、分解能1024x1024のフォトリアリスティック画像を生成する際に、このような構成性を実現するのはこれが初めてである。
論文 参考訳(メタデータ) (2021-10-21T03:31:45Z) - Learning Energy-Based Model with Variational Auto-Encoder as Amortized
Sampler [35.80109055748496]
最大確率でエネルギーベースモデル(ebms)を訓練するにはマルコフ連鎖モンテカルロサンプリングが必要である。
我々は、エネルギー関数から派生したランゲビンダイナミクスのような有限ステップMCMCを初期化する変分オートエンコーダ(VAE)を学びます。
これらのアモールト化MCMCサンプルにより、ESMは「合成による分析」スキームに従って最大で訓練することができる。
我々はこの共同学習アルゴリズムを変分MCMC教育と呼び、VAEはEMMをデータ分布に向けて追従する。
論文 参考訳(メタデータ) (2020-12-29T20:46:40Z) - Learning Energy-Based Models by Diffusion Recovery Likelihood [61.069760183331745]
本稿では,エネルギーベースモデルから気軽に学習・サンプルできる拡散回復可能性法を提案する。
学習後、ガウスの白色雑音分布から初期化するサンプリングプロセスにより合成画像を生成することができる。
非条件 CIFAR-10 では,本手法は FID 9.58 と開始スコア 8.30 を達成する。
論文 参考訳(メタデータ) (2020-12-15T07:09:02Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [55.28436972267793]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳(メタデータ) (2020-10-25T18:51:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。