論文の概要: Improving Adversarial Energy-Based Model via Diffusion Process
- arxiv url: http://arxiv.org/abs/2403.01666v1
- Date: Mon, 4 Mar 2024 01:33:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 20:28:32.955798
- Title: Improving Adversarial Energy-Based Model via Diffusion Process
- Title（参考訳）: 拡散過程による逆エネルギーモデルの改善
- Authors: Cong Geng, Tian Han, Peng-Tao Jiang, Hao Zhang, Jinwei Chen, S{\o}ren
Hauberg, Bo Li
- Abstract要約: 対戦型EMMはミニマックストレーニングゲームを形成するジェネレータを導入する。
拡散モデルにインスパイアされた私たちは、長い過程をいくつかの小さなステップに分割するために、各デノイングステップにESMを組み込んだ。
本実験は, 既存の敵ESMと比較して, 世代が著しく改善したことを示す。
- 参考スコア（独自算出の注目度）: 17.36160260551227
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Generative models have shown strong generation ability while efficient
likelihood estimation is less explored. Energy-based models~(EBMs) define a
flexible energy function to parameterize unnormalized densities efficiently but
are notorious for being difficult to train. Adversarial EBMs introduce a
generator to form a minimax training game to avoid expensive MCMC sampling used
in traditional EBMs, but a noticeable gap between adversarial EBMs and other
strong generative models still exists. Inspired by diffusion-based models, we
embedded EBMs into each denoising step to split a long-generated process into
several smaller steps. Besides, we employ a symmetric Jeffrey divergence and
introduce a variational posterior distribution for the generator's training to
address the main challenges that exist in adversarial EBMs. Our experiments
show significant improvement in generation compared to existing adversarial
EBMs, while also providing a useful energy function for efficient density
estimation.
- Abstract（参考訳）: 生成モデルは強い生成能力を示し、効率的な確率推定は少ない。
エネルギーベースモデル~(EBM)は、非正規化密度を効率的にパラメータ化するための柔軟なエネルギー関数を定義するが、訓練が難しいことで悪名高い。
対戦型EMMは、従来のEMMで使用される高価なMCMCサンプリングを避けるためにミニマックストレーニングゲームを形成するジェネレータを導入するが、敵型EMMと他の強力な生成モデルとの間には顕著なギャップがある。
拡散モデルにインスパイアされた私たちは、長い過程をいくつかの小さなステップに分割するために、各デノナイジングステップにESMを組み込んだ。
さらに, 対称なジェフリー発散を採用し, 逆EBMにおける主な課題に対処するため, 発電機の訓練に後方分布のばらつきを導入する。
提案実験は, 既存の敵ESMと比較して, 発生率を著しく向上させるとともに, 効率的な密度推定に有用なエネルギー関数を提供する。
関連論文リスト
- Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。
我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
論文 参考訳（メタデータ） (2024-10-28T17:25:56Z) - Learning Latent Space Hierarchical EBM Diffusion Models [4.4996462447311725]
エネルギーベース先行モデルと多層ジェネレータモデルの学習問題について検討する。
近年,エネルギーベースモデル(EBM)を第2段階の補完モデルとして学習し,ギャップを埋める研究が進められている。
本研究では,EBMサンプリングの負担を軽減するために拡散確率スキームを活用することを提案する。
論文 参考訳（メタデータ） (2024-05-22T18:34:25Z) - Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。
本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-05T00:23:34Z) - Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。
EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。
本研究では,協調拡散回復可能性 (CDRL) を提案する。
論文 参考訳（メタデータ） (2023-09-10T22:05:24Z) - Guiding Energy-based Models via Contrastive Latent Variables [81.68492940158436]
エネルギーベースモデル(EBM)は、明示的な密度とアーキテクチャの柔軟性の両方を提供する一般的な生成フレームワークである。
EBMとGANのような生成フレームワークの間には、世代品質の点で大きなギャップがあることが多い。
コントラスト表現学習によるESM改善のための新しい効果的なフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T10:50:25Z) - No MCMC for me: Amortized sampling for fast and stable training of
energy-based models [62.1234885852552]
エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。
本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。
次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
論文 参考訳（メタデータ） (2020-10-08T19:17:20Z) - Learning Latent Space Energy-Based Prior Model [118.86447805707094]
我々はジェネレータモデルの潜在空間でエネルギーベースモデル(EBM)を学習する。
学習したモデルが画像やテキストの生成や異常検出の点で強い性能を示すことを示す。
論文 参考訳（メタデータ） (2020-06-15T08:11:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。