論文の概要: How to Train Your Energy-Based Models

• arxiv url: http://arxiv.org/abs/2101.03288v2
• Date: Wed, 17 Feb 2021 19:20:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-09 07:26:54.863311
• Title: How to Train Your Energy-Based Models
• Title（参考訳）: エネルギーベースのモデルをトレーニングする方法
• Authors: Yang Song and Diederik P. Kingma
• Abstract要約: エネルギーベースモデル(EBM)は、未知の正規化定数まで確率密度や質量関数を指定する。 本チュートリアルは,ESMの適用や研究プロジェクト開始を希望する生成モデルの基本的理解者を対象としている。
• 参考スコア（独自算出の注目度）: 19.65375049263317
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Energy-Based Models (EBMs), also known as non-normalized probabilistic models, specify probability density or mass functions up to an unknown normalizing constant. Unlike most other probabilistic models, EBMs do not place a restriction on the tractability of the normalizing constant, thus are more flexible to parameterize and can model a more expressive family of probability distributions. However, the unknown normalizing constant of EBMs makes training particularly difficult. Our goal is to provide a friendly introduction to modern approaches for EBM training. We start by explaining maximum likelihood training with Markov chain Monte Carlo (MCMC), and proceed to elaborate on MCMC-free approaches, including Score Matching (SM) and Noise Constrastive Estimation (NCE). We highlight theoretical connections among these three approaches, and end with a brief survey on alternative training methods, which are still under active research. Our tutorial is targeted at an audience with basic understanding of generative models who want to apply EBMs or start a research project in this direction.
• Abstract（参考訳）: 非正規化確率モデルとしても知られるエネルギーベースモデル(EBMs)は、未知の正規化定数まで確率密度や質量関数を指定する。 他の多くの確率モデルとは異なり、ESMは正規化定数のトラクタビリティに制限を課さないため、パラメータ化がより柔軟であり、確率分布のより表現力のある族をモデル化することができる。 しかし、ESMの未知の正規化定数は特に訓練を困難にしている。 私たちの目標は、ebmトレーニングの現代的なアプローチをフレンドリーに紹介することにあります。 まず,マルコフ連鎖モンテカルロ(MCMC)による最大可能性トレーニングについて解説し,スコアマッチング(SM)やノイズコンストラシティブ推定(NCE)などのMCMCフリーアプローチについて詳しく述べる。 我々は,これら3つのアプローチの理論的関連に注目し,現在も活発に研究されている代替訓練方法に関する簡単な調査を行った。 本チュートリアルは,ESMの適用や研究プロジェクト開始を希望する生成モデルの基本的理解者を対象としている。

関連論文リスト

• Hitchhiker's guide on Energy-Based Models: a comprehensive review on the relation with other generative models, sampling and statistical physics [0.0]
  エネルギーベースモデル(EBM)は、生成モデリングの領域において強力なフレームワークとして登場した。 このレビューは、物理学者にESMの包括的理解を提供し、他の生成モデルとの関係を説明することを目的としている。
  論文  参考訳（メタデータ） (2024-06-19T16:08:00Z)
• Learning Energy-based Model via Dual-MCMC Teaching [5.31573596283377]
  最大推定量(MLE)を用いてエネルギーベースモデル(EBM)を学習する。 本稿では,エネルギーベースモデル(EBM)の基本学習問題について考察する。
  論文  参考訳（メタデータ） (2023-12-05T03:39:54Z)
• Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
  非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。 本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-05T00:23:34Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• Guiding Energy-based Models via Contrastive Latent Variables [81.68492940158436]
  エネルギーベースモデル(EBM)は、明示的な密度とアーキテクチャの柔軟性の両方を提供する一般的な生成フレームワークである。 EBMとGANのような生成フレームワークの間には、世代品質の点で大きなギャップがあることが多い。 コントラスト表現学習によるESM改善のための新しい効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T10:50:25Z)
• Mitigating Out-of-Distribution Data Density Overestimation in Energy-Based Models [54.06799491319278]
  深部エネルギーベースモデル(EBM)は、複雑な分布を学習する能力によって注目されている。 EBMの訓練には、Langevin Monte Carlo (LMC) を用いた最大推定(MLE)を用いることが多い。 短周期LCCのMLEが, 誤った密度推定でEMMに収束する理由を考察する。
  論文  参考訳（メタデータ） (2022-05-30T02:49:17Z)
• Learning Energy-Based Model with Variational Auto-Encoder as Amortized Sampler [35.80109055748496]
  最大確率でエネルギーベースモデル(ebms)を訓練するにはマルコフ連鎖モンテカルロサンプリングが必要である。 我々は、エネルギー関数から派生したランゲビンダイナミクスのような有限ステップMCMCを初期化する変分オートエンコーダ(VAE)を学びます。 これらのアモールト化MCMCサンプルにより、ESMは「合成による分析」スキームに従って最大で訓練することができる。 我々はこの共同学習アルゴリズムを変分MCMC教育と呼び、VAEはEMMをデータ分布に向けて追従する。
  論文  参考訳（メタデータ） (2020-12-29T20:46:40Z)
• No MCMC for me: Amortized sampling for fast and stable training of energy-based models [62.1234885852552]
  エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。 本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。 次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
  論文  参考訳（メタデータ） (2020-10-08T19:17:20Z)
• MCMC Should Mix: Learning Energy-Based Model with Neural Transport Latent Space MCMC [110.02001052791353]
  学習エネルギーベースモデル(EBM)は学習アルゴリズムの内部ループとして学習モデルのMCMCサンプリングを必要とする。 バックボーンモデルの潜伏変数の空間において、モデルは特に単純であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T01:25:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。