論文の概要: Guiding Energy-based Models via Contrastive Latent Variables

• arxiv url: http://arxiv.org/abs/2303.03023v1
• Date: Mon, 6 Mar 2023 10:50:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-07 16:22:27.077069
• Title: Guiding Energy-based Models via Contrastive Latent Variables
• Title（参考訳）: 競合潜在変数によるエネルギーモデル案内
• Authors: Hankook Lee, Jongheon Jeong, Sejun Park, Jinwoo Shin
• Abstract要約: エネルギーベースモデル(EBM)は、明示的な密度とアーキテクチャの柔軟性の両方を提供する一般的な生成フレームワークである。 EBMとGANのような生成フレームワークの間には、世代品質の点で大きなギャップがあることが多い。 コントラスト表現学習によるESM改善のための新しい効果的なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 81.68492940158436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An energy-based model (EBM) is a popular generative framework that offers both explicit density and architectural flexibility, but training them is difficult since it is often unstable and time-consuming. In recent years, various training techniques have been developed, e.g., better divergence measures or stabilization in MCMC sampling, but there often exists a large gap between EBMs and other generative frameworks like GANs in terms of generation quality. In this paper, we propose a novel and effective framework for improving EBMs via contrastive representation learning (CRL). To be specific, we consider representations learned by contrastive methods as the true underlying latent variable. This contrastive latent variable could guide EBMs to understand the data structure better, so it can improve and accelerate EBM training significantly. To enable the joint training of EBM and CRL, we also design a new class of latent-variable EBMs for learning the joint density of data and the contrastive latent variable. Our experimental results demonstrate that our scheme achieves lower FID scores, compared to prior-art EBM methods (e.g., additionally using variational autoencoders or diffusion techniques), even with significantly faster and more memory-efficient training. We also show conditional and compositional generation abilities of our latent-variable EBMs as their additional benefits, even without explicit conditional training. The code is available at https://github.com/hankook/CLEL.
• Abstract（参考訳）: エネルギーベースモデル(ebm)は、明示的な密度とアーキテクチャの柔軟性の両方を提供する一般的な生成フレームワークであるが、それらはしばしば不安定で時間がかかるため、トレーニングは困難である。 近年,mcmcサンプリングにおける発散性向上や安定化等,様々な訓練手法が開発されているが,世代品質の面ではebmsとgansのような他の生成フレームワークとの間には大きなギャップがあることが多い。 本稿では,コントラスト表現学習(CRL)によるESM改善のための新しい効果的なフレームワークを提案する。 具体的には、コントラスト法によって学習された表現を真の潜在変数として考える。 この対照的な潜在変数は、ebmがデータ構造をよりよく理解するように誘導するので、ebmトレーニングを大幅に改善し、加速することができる。 EBMとCRLのジョイントトレーニングを可能にするために,データのジョイント密度と対照的な潜在変数を学習するための潜在変数EMMの新しいクラスを設計する。 提案手法は,より高速でメモリ効率のよいトレーニングでも,先行技術であるebm法(変分オートエンコーダや拡散技術など)と比較して低いfidスコアが得られることを示した。 また, 条件付き学習がなくても, 潜在変数ebmの条件付きおよび構成的生成能力が付加的な利点として示される。 コードはhttps://github.com/hankook/clelで入手できる。

関連論文リスト

• Improving Adversarial Energy-Based Model via Diffusion Process [25.023967485839155]
  対戦型EMMはミニマックストレーニングゲームを形成するジェネレータを導入する。 拡散モデルにインスパイアされた私たちは、長い過程をいくつかの小さなステップに分割するために、各デノイングステップにESMを組み込んだ。 本実験は, 既存の敵ESMと比較して, 世代が著しく改善したことを示す。
  論文  参考訳（メタデータ） (2024-03-04T01:33:53Z)
• Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
  非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。 本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-05T00:23:34Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• Latent Diffusion Energy-Based Model for Interpretable Text Modeling [104.85356157724372]
  本稿では,拡散モデルと潜時空間ESMの共生を変動学習フレームワークで導入する。 我々は,学習した潜在空間の品質を向上させるために,情報ボトルネックと合わせて幾何学的クラスタリングに基づく正規化を開発する。
  論文  参考訳（メタデータ） (2022-06-13T03:41:31Z)
• Bounds all around: training energy-based models with bidirectional bounds [26.507268387712145]
  エネルギーベースモデル(EBM)は密度推定のためのエレガントなフレームワークを提供するが、それらは訓練が難しいことで知られている。 近年の研究では、ESMは変動値関数を持つミニマックスゲームを通じて訓練される。 ミニマックスゲームにおいて,EBM対数ライクな二方向境界を提案し,下位境界を最大化し,上限を最小化する。
  論文  参考訳（メタデータ） (2021-11-01T13:25:38Z)
• How to Train Your Energy-Based Models [19.65375049263317]
  エネルギーベースモデル(EBM)は、未知の正規化定数まで確率密度や質量関数を指定する。 本チュートリアルは,ESMの適用や研究プロジェクト開始を希望する生成モデルの基本的理解者を対象としている。
  論文  参考訳（メタデータ） (2021-01-09T04:51:31Z)
• Energy-Based Models for Continual Learning [36.05297743063411]
  我々は、連続学習問題に対する有望なモデルクラスとして、エネルギーベースモデル(EBM)を動機付けている。 提案した連続学習用EMMは, 単純で, 効率的で, いくつかのベンチマークにおいて, ベースライン法よりも優れている。
  論文  参考訳（メタデータ） (2020-11-24T17:08:13Z)
• No MCMC for me: Amortized sampling for fast and stable training of energy-based models [62.1234885852552]
  エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。 本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。 次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
  論文  参考訳（メタデータ） (2020-10-08T19:17:20Z)
• MCMC Should Mix: Learning Energy-Based Model with Neural Transport Latent Space MCMC [110.02001052791353]
  学習エネルギーベースモデル(EBM)は学習アルゴリズムの内部ループとして学習モデルのMCMCサンプリングを必要とする。 バックボーンモデルの潜伏変数の空間において、モデルは特に単純であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T01:25:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。