論文の概要: Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood

• arxiv url: http://arxiv.org/abs/2309.05153v5
• Date: Sun, 10 Nov 2024 06:06:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:05:54.886707
• Title: Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood
• Title（参考訳）: 協調拡散回復様相によるエネルギーモデル学習
• Authors: Yaxuan Zhu, Jianwen Xie, Yingnian Wu, Ruiqi Gao,
• Abstract要約: 高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
• 参考スコア（独自算出の注目度）: 64.95663299945171
• License:
• Abstract: Training energy-based models (EBMs) on high-dimensional data can be both challenging and time-consuming, and there exists a noticeable gap in sample quality between EBMs and other generative frameworks like GANs and diffusion models. To close this gap, inspired by the recent efforts of learning EBMs by maximizing diffusion recovery likelihood (DRL), we propose cooperative diffusion recovery likelihood (CDRL), an effective approach to tractably learn and sample from a series of EBMs defined on increasingly noisy versions of a dataset, paired with an initializer model for each EBM. At each noise level, the two models are jointly estimated within a cooperative training framework: samples from the initializer serve as starting points that are refined by a few MCMC sampling steps from the EBM. The EBM is then optimized by maximizing recovery likelihood, while the initializer model is optimized by learning from the difference between the refined samples and the initial samples. In addition, we made several practical designs for EBM training to further improve the sample quality. Combining these advances, our approach significantly boost the generation performance compared to existing EBM methods on CIFAR-10 and ImageNet datasets. We also demonstrate the effectiveness of our models for several downstream tasks, including classifier-free guided generation, compositional generation, image inpainting and out-of-distribution detection.
• Abstract（参考訳）: 高次元データ上でのエネルギーベースモデル(EBM)の訓練は困難かつ時間を要する可能性がある。 拡散回復率(DRL)を最大化してESMを学習する最近の取り組みに触発されて,このギャップを埋めるため,各ESMの初期化モデルと組み合わせて,ますます騒々しいバージョンのデータセット上で定義された一連のESMから効果的に学習し,サンプルを抽出する,協調拡散回復可能性(CDRL)を提案する。 各ノイズレベルにおいて、2つのモデルが協調的なトレーニングフレームワーク内で共同で推定される:初期化器からのサンプルは、EMMからのいくつかのMCMCサンプリングステップによって洗練される出発点として機能する。 EBMは回収可能性の最大化により最適化され、イニシャライザモデルは精製試料と初期試料の差から学習することで最適化される。 さらに,ESMトレーニングの実践的な設計を行い,サンプルの品質をさらに向上させた。 CIFAR-10 および ImageNet データセット上の既存の EBM 手法と比較して,これらの進歩と組み合わせることで生成性能が大幅に向上する。 また,分類器フリーガイド生成,構成生成,画像インペイント,アウト・オブ・ディストリビューション検出など,下流タスクにおけるモデルの有効性を実証した。

関連論文リスト

• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• Learning Latent Space Hierarchical EBM Diffusion Models [4.4996462447311725]
  エネルギーベース先行モデルと多層ジェネレータモデルの学習問題について検討する。 近年,エネルギーベースモデル(EBM)を第2段階の補完モデルとして学習し,ギャップを埋める研究が進められている。 本研究では,EBMサンプリングの負担を軽減するために拡散確率スキームを活用することを提案する。
  論文  参考訳（メタデータ） (2024-05-22T18:34:25Z)
• Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
  非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。 本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-05T00:23:34Z)
• Balanced Training of Energy-Based Models with Adaptive Flow Sampling [13.951904929884618]
  エネルギーベースモデル (EBMs) は、非正規化ログ密度を直接パラメータ化する汎用密度推定モデルである。 我々は、異なる種類の生成モデル、正規化フロー(NF)を用いたESMのための新しい最大可能性トレーニングアルゴリズムを提案する。 本手法はトレーニング中にNFをEMMに適合させ,NF支援サンプリング方式によりESMの正確な勾配が常に得られるようにする。
  論文  参考訳（メタデータ） (2023-06-01T13:58:06Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)
• Persistently Trained, Diffusion-assisted Energy-based Models [18.135784288023928]
  我々は,拡散データを導入し,持続的トレーニングを通じて拡散補助EBMと呼ばれる共同ESMを学習する。 持続的に訓練されたESMは、長期安定、訓練後の画像生成、配当検出の精度の向上を同時に達成できることを示す。
  論文  参考訳（メタデータ） (2023-04-21T02:29:18Z)
• Learning Energy-Based Model with Variational Auto-Encoder as Amortized Sampler [35.80109055748496]
  最大確率でエネルギーベースモデル(ebms)を訓練するにはマルコフ連鎖モンテカルロサンプリングが必要である。 我々は、エネルギー関数から派生したランゲビンダイナミクスのような有限ステップMCMCを初期化する変分オートエンコーダ(VAE)を学びます。 これらのアモールト化MCMCサンプルにより、ESMは「合成による分析」スキームに従って最大で訓練することができる。 我々はこの共同学習アルゴリズムを変分MCMC教育と呼び、VAEはEMMをデータ分布に向けて追従する。
  論文  参考訳（メタデータ） (2020-12-29T20:46:40Z)
• Learning Energy-Based Models by Diffusion Recovery Likelihood [61.069760183331745]
  本稿では,エネルギーベースモデルから気軽に学習・サンプルできる拡散回復可能性法を提案する。 学習後、ガウスの白色雑音分布から初期化するサンプリングプロセスにより合成画像を生成することができる。 非条件 CIFAR-10 では,本手法は FID 9.58 と開始スコア 8.30 を達成する。
  論文  参考訳（メタデータ） (2020-12-15T07:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。