論文の概要: Learning Energy-Based Models by Cooperative Diffusion Recovery
Likelihood
- arxiv url: http://arxiv.org/abs/2309.05153v2
- Date: Tue, 12 Sep 2023 20:23:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-14 11:25:26.360942
- Title: Learning Energy-Based Models by Cooperative Diffusion Recovery
Likelihood
- Title(参考訳): 協調拡散回復様相によるエネルギーモデル学習
- Authors: Yaxuan Zhu, Jianwen Xie, Yingnian Wu, Ruiqi Gao
- Abstract要約: 高次元データに対する最大推定値のトレーニングエネルギーベースモデル(EBMs)は、困難かつ時間を要する可能性がある。
本研究では,データセットの雑音の増大する頂点上で定義された一連のEMMから,協調拡散回復確率(CDRL)を抽出し,抽出する手法を提案する。
CIFAR-10 と ImageNet 32x32 の既存 EBM 法と比較して FID のスコアが大幅に向上し,DRL を2倍高速化した。
- 参考スコア(独自算出の注目度): 70.96045509920326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training energy-based models (EBMs) with maximum likelihood estimation on
high-dimensional data can be both challenging and time-consuming. As a result,
there a noticeable gap in sample quality between EBMs and other generative
frameworks like GANs and diffusion models. To close this gap, inspired by the
recent efforts of learning EBMs by maximimizing diffusion recovery likelihood
(DRL), we propose cooperative diffusion recovery likelihood (CDRL), an
effective approach to tractably learn and sample from a series of EBMs defined
on increasingly noisy versons of a dataset, paired with an initializer model
for each EBM. At each noise level, the initializer model learns to amortize the
sampling process of the EBM, and the two models are jointly estimated within a
cooperative training framework. Samples from the initializer serve as starting
points that are refined by a few sampling steps from the EBM. With the refined
samples, the EBM is optimized by maximizing recovery likelihood, while the
initializer is optimized by learning from the difference between the refined
samples and the initial samples. We develop a new noise schedule and a variance
reduction technique to further improve the sample quality. Combining these
advances, we significantly boost the FID scores compared to existing EBM
methods on CIFAR-10 and ImageNet 32x32, with a 2x speedup over DRL. In
addition, we extend our method to compositional generation and image inpainting
tasks, and showcase the compatibility of CDRL with classifier-free guidance for
conditional generation, achieving similar trade-offs between sample quality and
sample diversity as in diffusion models.
- Abstract(参考訳): 高次元データに対する最大推定値のトレーニングエネルギーベースモデル(EBMs)は、困難かつ時間を要する可能性がある。
その結果、ESMとGANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質の顕著なギャップがある。
拡散回復率(DRL)を最大化してESMを学習する最近の取り組みに触発されたこのギャップを埋めるため,各ESMの初期化モデルと組み合わさったデータセットの騒々しい頂点上で定義された一連のESMから効果的に学習し,サンプルを抽出するための協調拡散回復可能性(CDRL)を提案する。
各ノイズレベルにおいて、初期化子モデルがebmのサンプリング過程を償却することを学習し、2つのモデルを協調訓練枠組み内で共同で推定する。
初期化器からのサンプルは、ebmからいくつかのサンプリングステップで洗練された出発点として機能する。
精製試料では回収可能性の最大化によりEBMを最適化し, 精製試料と初期試料との差から初期化装置を最適化した。
我々は,新しいノイズスケジュールと分散低減手法を開発し,サンプル品質をさらに向上させる。
CIFAR-10 と ImageNet 32x32 の既存 EBM 法と比較して FID のスコアが大幅に向上し,DRL を2倍高速化した。
さらに,本手法を合成生成および画像インペインティングタスクに拡張し,cdrlと条件生成のための分類器フリーガイダンスとの互換性を示し,拡散モデルと同様にサンプル品質とサンプル多様性のトレードオフを実現した。
関連論文リスト
- Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [111.90150190668555]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2~5倍の速さでトレーニングを行う。
論文 参考訳(メタデータ) (2024-02-09T01:11:23Z) - Decoupled Diffusion Models: Image to Zero and Zero to Noise [57.9447970931649]
本稿では, 複雑な拡散過程を2つの比較的単純なプロセスに分離し, 生成効率と速度を改善することを提案する。
拡散過程の疎結合は学習の難しさを低減し、明示的な遷移確率は生成速度を大幅に向上させる。
また,このフレームワークは画像条件付き生成や高解像度画像合成にも適用可能であること,また,10機能評価のみで高品質な画像を生成することができることを示す。
論文 参考訳(メタデータ) (2023-06-23T18:08:00Z) - Balanced Training of Energy-Based Models with Adaptive Flow Sampling [13.951904929884618]
エネルギーベースモデル (EBMs) は、非正規化ログ密度を直接パラメータ化する汎用密度推定モデルである。
我々は、異なる種類の生成モデル、正規化フロー(NF)を用いたESMのための新しい最大可能性トレーニングアルゴリズムを提案する。
本手法はトレーニング中にNFをEMMに適合させ,NF支援サンプリング方式によりESMの正確な勾配が常に得られるようにする。
論文 参考訳(メタデータ) (2023-06-01T13:58:06Z) - Persistently Trained, Diffusion-assisted Energy-based Models [18.135784288023928]
我々は,拡散データを導入し,持続的トレーニングを通じて拡散補助EBMと呼ばれる共同ESMを学習する。
持続的に訓練されたESMは、長期安定、訓練後の画像生成、配当検出の精度の向上を同時に達成できることを示す。
論文 参考訳(メタデータ) (2023-04-21T02:29:18Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
拡散モデルの高速サンプリング法であるMDD-DDMを提案する。
我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。
提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
論文 参考訳(メタデータ) (2023-01-19T09:48:07Z) - Bilateral Denoising Diffusion Models [34.507876199641665]
拡散確率モデル (DDPM) は競合生成モデルとして出現している。
本稿では,高品質なサンプルを生成するためのステップを著しく減らした,新しい二値化拡散モデル(BDDM)を提案する。
論文 参考訳(メタデータ) (2021-08-26T13:23:41Z) - Learning Energy-Based Models by Diffusion Recovery Likelihood [61.069760183331745]
本稿では,エネルギーベースモデルから気軽に学習・サンプルできる拡散回復可能性法を提案する。
学習後、ガウスの白色雑音分布から初期化するサンプリングプロセスにより合成画像を生成することができる。
非条件 CIFAR-10 では,本手法は FID 9.58 と開始スコア 8.30 を達成する。
論文 参考訳(メタデータ) (2020-12-15T07:09:02Z) - Denoising Diffusion Implicit Models [117.03720513930335]
DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。
DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
論文 参考訳(メタデータ) (2020-10-06T06:15:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。