論文の概要: Improving Adversarial Energy-Based Model via Diffusion Process
- arxiv url: http://arxiv.org/abs/2403.01666v1
- Date: Mon, 4 Mar 2024 01:33:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 20:28:32.955798
- Title: Improving Adversarial Energy-Based Model via Diffusion Process
- Title(参考訳): 拡散過程による逆エネルギーモデルの改善
- Authors: Cong Geng, Tian Han, Peng-Tao Jiang, Hao Zhang, Jinwei Chen, S{\o}ren
Hauberg, Bo Li
- Abstract要約: 対戦型EMMはミニマックストレーニングゲームを形成するジェネレータを導入する。
拡散モデルにインスパイアされた私たちは、長い過程をいくつかの小さなステップに分割するために、各デノイングステップにESMを組み込んだ。
本実験は, 既存の敵ESMと比較して, 世代が著しく改善したことを示す。
- 参考スコア(独自算出の注目度): 17.36160260551227
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Generative models have shown strong generation ability while efficient
likelihood estimation is less explored. Energy-based models~(EBMs) define a
flexible energy function to parameterize unnormalized densities efficiently but
are notorious for being difficult to train. Adversarial EBMs introduce a
generator to form a minimax training game to avoid expensive MCMC sampling used
in traditional EBMs, but a noticeable gap between adversarial EBMs and other
strong generative models still exists. Inspired by diffusion-based models, we
embedded EBMs into each denoising step to split a long-generated process into
several smaller steps. Besides, we employ a symmetric Jeffrey divergence and
introduce a variational posterior distribution for the generator's training to
address the main challenges that exist in adversarial EBMs. Our experiments
show significant improvement in generation compared to existing adversarial
EBMs, while also providing a useful energy function for efficient density
estimation.
- Abstract(参考訳): 生成モデルは強い生成能力を示し、効率的な確率推定は少ない。
エネルギーベースモデル~(EBM)は、非正規化密度を効率的にパラメータ化するための柔軟なエネルギー関数を定義するが、訓練が難しいことで悪名高い。
対戦型EMMは、従来のEMMで使用される高価なMCMCサンプリングを避けるためにミニマックストレーニングゲームを形成するジェネレータを導入するが、敵型EMMと他の強力な生成モデルとの間には顕著なギャップがある。
拡散モデルにインスパイアされた私たちは、長い過程をいくつかの小さなステップに分割するために、各デノナイジングステップにESMを組み込んだ。
さらに, 対称なジェフリー発散を採用し, 逆EBMにおける主な課題に対処するため, 発電機の訓練に後方分布のばらつきを導入する。
提案実験は, 既存の敵ESMと比較して, 発生率を著しく向上させるとともに, 効率的な密度推定に有用なエネルギー関数を提供する。
関連論文リスト
- Generalized Contrastive Divergence: Joint Training of Energy-Based Model
and Diffusion Model through Inverse Reinforcement Learning [13.22531381403974]
Generalized Contrastive Divergence (GCD) はエネルギーベースモデル(EBM)とサンプルを同時にトレーニングするための新しい目的関数である。
EBMと拡散モデルの両方にジョイントトレーニングが有用であることを示す予備的かつ有望な結果を示す。
論文 参考訳(メタデータ) (2023-12-06T10:10:21Z) - Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。
本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-10-05T00:23:34Z) - MCMC-Correction of Score-Based Diffusion Models for Model Composition [2.8544513613730205]
拡散モデルは、スコアやエネルギー関数の観点からパラメータ化することができる。
本稿では,スコアパラメータ化の維持とエネルギーベースの受理確率の計算を提案する。
提案手法を2次元実験で評価した結果,エネルギーパラメータ化よりも類似性や性能が良好であることが判明した。
論文 参考訳(メタデータ) (2023-07-26T07:50:41Z) - Guiding Energy-based Models via Contrastive Latent Variables [81.68492940158436]
エネルギーベースモデル(EBM)は、明示的な密度とアーキテクチャの柔軟性の両方を提供する一般的な生成フレームワークである。
EBMとGANのような生成フレームワークの間には、世代品質の点で大きなギャップがあることが多い。
コントラスト表現学習によるESM改善のための新しい効果的なフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-06T10:50:25Z) - Your Autoregressive Generative Model Can be Better If You Treat It as an
Energy-Based One [83.5162421521224]
本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。
E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。
我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
論文 参考訳(メタデータ) (2022-06-26T10:58:41Z) - No MCMC for me: Amortized sampling for fast and stable training of
energy-based models [62.1234885852552]
エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。
本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。
次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
論文 参考訳(メタデータ) (2020-10-08T19:17:20Z) - Learning Latent Space Energy-Based Prior Model [118.86447805707094]
我々はジェネレータモデルの潜在空間でエネルギーベースモデル(EBM)を学習する。
学習したモデルが画像やテキストの生成や異常検出の点で強い性能を示すことを示す。
論文 参考訳(メタデータ) (2020-06-15T08:11:58Z) - Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。
所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。
実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
論文 参考訳(メタデータ) (2020-03-06T23:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。