論文の概要: Learning Energy-based Model via Dual-MCMC Teaching
- arxiv url: http://arxiv.org/abs/2312.02469v1
- Date: Tue, 5 Dec 2023 03:39:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 16:50:21.331376
- Title: Learning Energy-based Model via Dual-MCMC Teaching
- Title（参考訳）: デュアルMCMCによるエネルギーモデル学習
- Authors: Jiali Cui, Tian Han
- Abstract要約: 最大推定量(MLE)を用いてエネルギーベースモデル(EBM)を学習する。
本稿では,エネルギーベースモデル(EBM)の基本学習問題について考察する。
- 参考スコア（独自算出の注目度）: 5.31573596283377
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: This paper studies the fundamental learning problem of the energy-based model
(EBM). Learning the EBM can be achieved using the maximum likelihood estimation
(MLE), which typically involves the Markov Chain Monte Carlo (MCMC) sampling,
such as the Langevin dynamics. However, the noise-initialized Langevin dynamics
can be challenging in practice and hard to mix. This motivates the exploration
of joint training with the generator model where the generator model serves as
a complementary model to bypass MCMC sampling. However, such a method can be
less accurate than the MCMC and result in biased EBM learning. While the
generator can also serve as an initializer model for better MCMC sampling, its
learning can be biased since it only matches the EBM and has no access to
empirical training examples. Such biased generator learning may limit the
potential of learning the EBM. To address this issue, we present a joint
learning framework that interweaves the maximum likelihood learning algorithm
for both the EBM and the complementary generator model. In particular, the
generator model is learned by MLE to match both the EBM and the empirical data
distribution, making it a more informative initializer for MCMC sampling of
EBM. Learning generator with observed examples typically requires inference of
the generator posterior. To ensure accurate and efficient inference, we adopt
the MCMC posterior sampling and introduce a complementary inference model to
initialize such latent MCMC sampling. We show that three separate models can be
seamlessly integrated into our joint framework through two (dual-) MCMC
teaching, enabling effective and efficient EBM learning.
- Abstract（参考訳）: 本稿では,エネルギーベースモデル(EBM)の基本学習問題について考察する。
EBMの学習は、ランゲヴィン力学のようなマルコフ連鎖モンテカルロ(MCMC)サンプリングを含む最大極大推定(MLE)を用いて達成できる。
しかし、ノイズ初期化ランジュバンダイナミクスは実際には困難であり、混合が困難である。
これは、ジェネレータモデルがMCMCサンプリングをバイパスする補完モデルとして機能するジェネレータモデルとのジョイントトレーニングの探索を動機付けている。
しかし、このような方法はmcmcよりも精度が低く、偏りのあるebm学習となる。
ジェネレータはMCMCサンプリングを改善するイニシャライザモデルとしても機能するが、その学習はEMMに適合し、経験的なトレーニング例にアクセスできないため偏りがある。
このようなバイアス付きジェネレータ学習は、ESMを学習する可能性を制限する可能性がある。
この問題に対処するために,EMMと補完ジェネレータモデルの両方に対して,最大可能性学習アルゴリズムを織り交ぜた共同学習フレームワークを提案する。
特に、ジェネレータモデルは、EMMと経験的データ分布の両方を一致させるためにMLEによって学習され、EMMのMCMCサンプリングにおいてより有益な初期化器となる。
観測例によるジェネレータの学習は通常、ジェネレータ後部の推論を必要とする。
我々は,MCMC後続サンプリングを高精度かつ効率的に行うために,MCMC後続サンプリングを導入し,そのような潜伏MCMCサンプリングを初期化する補完推論モデルを導入する。
2つの(2つの)MCMC教育を通じて3つの異なるモデルを共同フレームワークにシームレスに統合し、効果的かつ効率的なEMM学習を可能にすることを示す。
関連論文リスト
- Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。
本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-05T00:23:34Z) - Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。
EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。
本研究では,協調拡散回復可能性 (CDRL) を提案する。
論文 参考訳（メタデータ） (2023-09-10T22:05:24Z) - Knowledge Removal in Sampling-based Bayesian Inference [86.14397783398711]
単一のデータ削除要求が来ると、企業は大量のリソースで学んだモデル全体を削除する必要があるかもしれない。
既存の研究は、明示的にパラメータ化されたモデルのためにデータから学んだ知識を取り除く方法を提案する。
本稿では,MCMCのための機械学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-03-24T10:03:01Z) - How to Train Your Energy-Based Models [19.65375049263317]
エネルギーベースモデル(EBM)は、未知の正規化定数まで確率密度や質量関数を指定する。
本チュートリアルは,ESMの適用や研究プロジェクト開始を希望する生成モデルの基本的理解者を対象としている。
論文 参考訳（メタデータ） (2021-01-09T04:51:31Z) - Learning Energy-Based Model with Variational Auto-Encoder as Amortized
Sampler [35.80109055748496]
最大確率でエネルギーベースモデル(ebms)を訓練するにはマルコフ連鎖モンテカルロサンプリングが必要である。
我々は、エネルギー関数から派生したランゲビンダイナミクスのような有限ステップMCMCを初期化する変分オートエンコーダ(VAE)を学びます。
これらのアモールト化MCMCサンプルにより、ESMは「合成による分析」スキームに従って最大で訓練することができる。
我々はこの共同学習アルゴリズムを変分MCMC教育と呼び、VAEはEMMをデータ分布に向けて追従する。
論文 参考訳（メタデータ） (2020-12-29T20:46:40Z) - No MCMC for me: Amortized sampling for fast and stable training of
energy-based models [62.1234885852552]
エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。
本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。
次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
論文 参考訳（メタデータ） (2020-10-08T19:17:20Z) - Learning Latent Space Energy-Based Prior Model [118.86447805707094]
我々はジェネレータモデルの潜在空間でエネルギーベースモデル(EBM)を学習する。
学習したモデルが画像やテキストの生成や異常検出の点で強い性能を示すことを示す。
論文 参考訳（メタデータ） (2020-06-15T08:11:58Z) - MCMC Should Mix: Learning Energy-Based Model with Neural Transport
Latent Space MCMC [110.02001052791353]
学習エネルギーベースモデル(EBM)は学習アルゴリズムの内部ループとして学習モデルのMCMCサンプリングを必要とする。
バックボーンモデルの潜伏変数の空間において、モデルは特に単純であることを示す。
論文 参考訳（メタデータ） (2020-06-12T01:25:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。