論文の概要: Mitigating Out-of-Distribution Data Density Overestimation in
Energy-Based Models
- arxiv url: http://arxiv.org/abs/2205.14817v1
- Date: Mon, 30 May 2022 02:49:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-01 09:35:29.575825
- Title: Mitigating Out-of-Distribution Data Density Overestimation in
Energy-Based Models
- Title（参考訳）: エネルギーモデルにおける分布外データ密度過大評価の軽減
- Authors: Beomsu Kim, Jong Chul Ye
- Abstract要約: 深部エネルギーベースモデル(EBM)は、複雑な分布を学習する能力によって注目されている。
EBMの訓練には、Langevin Monte Carlo (LMC) を用いた最大推定(MLE)を用いることが多い。
短周期LCCのMLEが, 誤った密度推定でEMMに収束する理由を考察する。
- 参考スコア（独自算出の注目度）: 54.06799491319278
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep energy-based models (EBMs), which use deep neural networks (DNNs) as
energy functions, are receiving increasing attention due to their ability to
learn complex distributions. To train deep EBMs, the maximum likelihood
estimation (MLE) with short-run Langevin Monte Carlo (LMC) is often used. While
the MLE with short-run LMC is computationally efficient compared to an MLE with
full Markov Chain Monte Carlo (MCMC), it often assigns high density to
out-of-distribution (OOD) data. To address this issue, here we systematically
investigate why the MLE with short-run LMC can converge to EBMs with wrong
density estimates, and reveal that the heuristic modifications to LMC
introduced by previous works were the main problem. We then propose a Uniform
Support Partitioning (USP) scheme that optimizes a set of points to evenly
partition the support of the EBM and then uses the resulting points to
approximate the EBM-MLE loss gradient. We empirically demonstrate that USP
avoids the pitfalls of short-run LMC, leading to significantly improved OOD
data detection performance on Fashion-MNIST.
- Abstract（参考訳）: 深部ニューラルネットワーク(DNN)をエネルギー関数として使用する深部エネルギーベースモデル(EBM)は、複雑な分布を学習する能力によって注目されている。
EBMの訓練には、Langevin Monte Carlo (LMC) を用いた最大推定(MLE)を用いることが多い。
ショートラン LMC の MLE は Markov Chain Monte Carlo (MCMC) の MLE と比較して計算効率が良いが、高密度のデータをout-of-distriion (OOD) のデータに割り当てることが多い。
この問題に対処するために, 短期LCCのMLEが, 誤った密度推定でEMMに収束する理由を系統的に検討し, 従来のLCCのヒューリスティックな修正が主な問題であることを明らかにした。
次に,一組の点を最適化して EBM のサポートを均等に分割し,その結果の点を用いて EBM-MLE 損失勾配を近似する一様サポート分割方式を提案する。
我々は,usp が短期的な lmc の落とし穴を回避し,ファッションmnist における ood データ検出性能が大幅に向上することを示す。
関連論文リスト
- Value-Biased Maximum Likelihood Estimation for Model-based Reinforcement
Learning in Discounted Linear MDPs [16.006893624836554]
本稿では,VBMLE (Value-Biased Maximum Likelihood Estimation) のレンズによる線形MDPの解法を提案する。
VBMLEは、各時間ステップで1つの最適化問題だけを解決する必要があるため、計算的により効率的である。
後悔する解析では、線形MDPにおけるMLEの一般収束結果が、新しいスーパーマーチンゲール構造を通して提供される。
論文 参考訳（メタデータ） (2023-10-17T18:27:27Z) - Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。
本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-05T00:23:34Z) - Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。
EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。
本研究では,協調拡散回復可能性 (CDRL) を提案する。
論文 参考訳（メタデータ） (2023-09-10T22:05:24Z) - How to Train Your Energy-Based Models [19.65375049263317]
エネルギーベースモデル(EBM)は、未知の正規化定数まで確率密度や質量関数を指定する。
本チュートリアルは,ESMの適用や研究プロジェクト開始を希望する生成モデルの基本的理解者を対象としている。
論文 参考訳（メタデータ） (2021-01-09T04:51:31Z) - Learning Energy-Based Model with Variational Auto-Encoder as Amortized
Sampler [35.80109055748496]
最大確率でエネルギーベースモデル(ebms)を訓練するにはマルコフ連鎖モンテカルロサンプリングが必要である。
我々は、エネルギー関数から派生したランゲビンダイナミクスのような有限ステップMCMCを初期化する変分オートエンコーダ(VAE)を学びます。
これらのアモールト化MCMCサンプルにより、ESMは「合成による分析」スキームに従って最大で訓練することができる。
我々はこの共同学習アルゴリズムを変分MCMC教育と呼び、VAEはEMMをデータ分布に向けて追従する。
論文 参考訳（メタデータ） (2020-12-29T20:46:40Z) - No MCMC for me: Amortized sampling for fast and stable training of
energy-based models [62.1234885852552]
エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。
本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。
次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
論文 参考訳（メタデータ） (2020-10-08T19:17:20Z) - Learning Latent Space Energy-Based Prior Model [118.86447805707094]
我々はジェネレータモデルの潜在空間でエネルギーベースモデル(EBM)を学習する。
学習したモデルが画像やテキストの生成や異常検出の点で強い性能を示すことを示す。
論文 参考訳（メタデータ） (2020-06-15T08:11:58Z) - MCMC Should Mix: Learning Energy-Based Model with Neural Transport
Latent Space MCMC [110.02001052791353]
学習エネルギーベースモデル(EBM)は学習アルゴリズムの内部ループとして学習モデルのMCMCサンプリングを必要とする。
バックボーンモデルの潜伏変数の空間において、モデルは特に単純であることを示す。
論文 参考訳（メタデータ） (2020-06-12T01:25:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。