論文の概要: No MCMC for me: Amortized sampling for fast and stable training of energy-based models

• arxiv url: http://arxiv.org/abs/2010.04230v3
• Date: Sun, 6 Jun 2021 20:40:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 11:21:26.084450
• Title: No MCMC for me: Amortized sampling for fast and stable training of energy-based models
• Title（参考訳）: No MCMC for me:Amortized sample for fast and stable training of energy-based models
• Authors: Will Grathwohl, Jacob Kelly, Milad Hashemi, Mohammad Norouzi, Kevin Swersky, David Duvenaud
• Abstract要約: エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。 本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。 次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
• 参考スコア（独自算出の注目度）: 62.1234885852552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Energy-Based Models (EBMs) present a flexible and appealing way to represent uncertainty. Despite recent advances, training EBMs on high-dimensional data remains a challenging problem as the state-of-the-art approaches are costly, unstable, and require considerable tuning and domain expertise to apply successfully. In this work, we present a simple method for training EBMs at scale which uses an entropy-regularized generator to amortize the MCMC sampling typically used in EBM training. We improve upon prior MCMC-based entropy regularization methods with a fast variational approximation. We demonstrate the effectiveness of our approach by using it to train tractable likelihood models. Next, we apply our estimator to the recently proposed Joint Energy Model (JEM), where we match the original performance with faster and stable training. This allows us to extend JEM models to semi-supervised classification on tabular data from a variety of continuous domains.
• Abstract（参考訳）: エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。 近年の進歩にもかかわらず、最先端のアプローチはコストが高く不安定であり、うまく適用するにはかなりのチューニングとドメインの専門知識が必要であるため、高次元データに対するEMMの訓練は難しい問題である。 本稿では,ebm訓練で一般的に使用されるmcmcサンプリングを償却するために,エントロピー正規化生成器を用いたebmを大規模に訓練するための簡易な方法を提案する。 高速変動近似を用いたMCMCに基づくエントロピー正規化法の改良を行った。 提案手法は, 導出可能性モデルの訓練に利用することで, 有効性を示す。 次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。 これにより、さまざまな連続ドメインから表データ上の半教師付き分類にjemモデルを拡張できる。

関連論文リスト

• Improving Adversarial Energy-Based Model via Diffusion Process [25.023967485839155]
  対戦型EMMはミニマックストレーニングゲームを形成するジェネレータを導入する。 拡散モデルにインスパイアされた私たちは、長い過程をいくつかの小さなステップに分割するために、各デノイングステップにESMを組み込んだ。 本実験は, 既存の敵ESMと比較して, 世代が著しく改善したことを示す。
  論文  参考訳（メタデータ） (2024-03-04T01:33:53Z)
• STANLEY: Stochastic Gradient Anisotropic Langevin Dynamics for Learning Energy-Based Models [41.031470884141775]
  エネルギーベースモデル(EBM)のためのエンドツーエンド学習アルゴリズムを提案する。 本稿では、異方性段差と勾配インフォームド共分散行列に基づく新しい高次元サンプリング法を提案する。 提案手法,すなわちSTANLEYは,新しいMCMC法を用いてエネルギーベースモデルを学習するための最適化アルゴリズムである。
  論文  参考訳（メタデータ） (2023-10-19T11:55:16Z)
• Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
  非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。 本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-05T00:23:34Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• Balanced Training of Energy-Based Models with Adaptive Flow Sampling [13.951904929884618]
  エネルギーベースモデル (EBMs) は、非正規化ログ密度を直接パラメータ化する汎用密度推定モデルである。 我々は、異なる種類の生成モデル、正規化フロー(NF)を用いたESMのための新しい最大可能性トレーニングアルゴリズムを提案する。 本手法はトレーニング中にNFをEMMに適合させ,NF支援サンプリング方式によりESMの正確な勾配が常に得られるようにする。
  論文  参考訳（メタデータ） (2023-06-01T13:58:06Z)
• Guiding Energy-based Models via Contrastive Latent Variables [81.68492940158436]
  エネルギーベースモデル(EBM)は、明示的な密度とアーキテクチャの柔軟性の両方を提供する一般的な生成フレームワークである。 EBMとGANのような生成フレームワークの間には、世代品質の点で大きなギャップがあることが多い。 コントラスト表現学習によるESM改善のための新しい効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T10:50:25Z)
• Your Autoregressive Generative Model Can be Better If You Treat It as an Energy-Based One [83.5162421521224]
  本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。 E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。 我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
  論文  参考訳（メタデータ） (2022-06-26T10:58:41Z)
• How to Train Your Energy-Based Models [19.65375049263317]
  エネルギーベースモデル(EBM)は、未知の正規化定数まで確率密度や質量関数を指定する。 本チュートリアルは,ESMの適用や研究プロジェクト開始を希望する生成モデルの基本的理解者を対象としている。
  論文  参考訳（メタデータ） (2021-01-09T04:51:31Z)
• MCMC Should Mix: Learning Energy-Based Model with Neural Transport Latent Space MCMC [110.02001052791353]
  学習エネルギーベースモデル(EBM)は学習アルゴリズムの内部ループとして学習モデルのMCMCサンプリングを必要とする。 バックボーンモデルの潜伏変数の空間において、モデルは特に単純であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T01:25:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。