論文の概要: Training Energy-Based Models with Diffusion Contrastive Divergences

• arxiv url: http://arxiv.org/abs/2307.01668v1
• Date: Tue, 4 Jul 2023 12:00:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 17:20:37.667435
• Title: Training Energy-Based Models with Diffusion Contrastive Divergences
• Title（参考訳）: 拡散コントラスト発散を持つエネルギーベースモデルの訓練
• Authors: Weijian Luo and Hao Jiang and Tianyang Hu and Jiacheng Sun and Zhenguo Li and Zhihua Zhang
• Abstract要約: Diffusion Contrastive Divergence (DCD) はエネルギーベースモデル(EBM)のトレーニング目標である 提案したDCDは,CDよりも計算効率が良く,非無視勾配項に制限されないことを示す。 画像生成実験では、提案されたDCDは、Celab-Aを32$のデータセットで生成するためのエネルギーベースのモデルを訓練することができる。
• 参考スコア（独自算出の注目度）: 45.01243513440672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Energy-Based Models (EBMs) have been widely used for generative modeling. Contrastive Divergence (CD), a prevailing training objective for EBMs, requires sampling from the EBM with Markov Chain Monte Carlo methods (MCMCs), which leads to an irreconcilable trade-off between the computational burden and the validity of the CD. Running MCMCs till convergence is computationally intensive. On the other hand, short-run MCMC brings in an extra non-negligible parameter gradient term that is difficult to handle. In this paper, we provide a general interpretation of CD, viewing it as a special instance of our proposed Diffusion Contrastive Divergence (DCD) family. By replacing the Langevin dynamic used in CD with other EBM-parameter-free diffusion processes, we propose a more efficient divergence. We show that the proposed DCDs are both more computationally efficient than the CD and are not limited to a non-negligible gradient term. We conduct intensive experiments, including both synthesis data modeling and high-dimensional image denoising and generation, to show the advantages of the proposed DCDs. On the synthetic data learning and image denoising experiments, our proposed DCD outperforms CD by a large margin. In image generation experiments, the proposed DCD is capable of training an energy-based model for generating the Celab-A $32\times 32$ dataset, which is comparable to existing EBMs.
• Abstract（参考訳）: エネルギーベースモデル(EBM)は生成モデルに広く用いられている。 コントラシブ・ディバージェンス(CD:Contrastive Divergence)は、EMMのトレーニング目標であり、マルコフ・チェイン・モンテカルロ法(MCMC)を用いてEMMからサンプリングする必要がある。 収束までのMCMCの実行は計算集約的である。 一方、短期実行MCMCは、扱いにくい余分に無視できないパラメータ勾配項をもたらす。 本稿では,CDをDCD(Diffusion Contrastive Divergence)ファミリーの特別な例と見なして,CDの一般的な解釈を提供する。 CD で用いられるランゲヴィン力学を他の EBM パラメータフリー拡散法に置き換えることにより,より効率的な分岐法を提案する。 提案したDCDは,CDよりも計算効率が良く,非無視勾配項に制限されないことを示す。 提案するdcdの利点を示すために,合成データモデリングと高次元画像のデニュージングと生成の両方を含む集中実験を行った。 合成データ学習と画像復号化実験において,提案したDCDは大きな差でCDを上回った。 画像生成実験において、提案するdcdは、既存のebmに匹敵する322\times 32$データセットを生成するためのエネルギーベースのモデルを訓練することができる。

関連論文リスト

• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• Distilling Diffusion Models into Conditional GANs [90.76040478677609]
  複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。 E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。 我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
  論文  参考訳（メタデータ） (2024-05-09T17:59:40Z)
• Improving Adversarial Energy-Based Model via Diffusion Process [25.023967485839155]
  対戦型EMMはミニマックストレーニングゲームを形成するジェネレータを導入する。 拡散モデルにインスパイアされた私たちは、長い過程をいくつかの小さなステップに分割するために、各デノイングステップにESMを組み込んだ。 本実験は, 既存の敵ESMと比較して, 世代が著しく改善したことを示す。
  論文  参考訳（メタデータ） (2024-03-04T01:33:53Z)
• Generalized Contrastive Divergence: Joint Training of Energy-Based Model and Diffusion Model through Inverse Reinforcement Learning [13.22531381403974]
  Generalized Contrastive Divergence (GCD) はエネルギーベースモデル(EBM)とサンプルを同時にトレーニングするための新しい目的関数である。 EBMと拡散モデルの両方にジョイントトレーニングが有用であることを示す予備的かつ有望な結果を示す。
  論文  参考訳（メタデータ） (2023-12-06T10:10:21Z)
• Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
  非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。 本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-05T00:23:34Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• Pseudo-Spherical Contrastive Divergence [119.28384561517292]
  エネルギーベースモデルの最大学習確率を一般化するために,擬球面コントラスト分散(PS-CD)を提案する。 PS-CDは難解な分割関数を避け、学習目的の一般化されたファミリーを提供する。
  論文  参考訳（メタデータ） (2021-11-01T09:17:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。