論文の概要: STANLEY: Stochastic Gradient Anisotropic Langevin Dynamics for Learning
Energy-Based Models
- arxiv url: http://arxiv.org/abs/2310.12667v1
- Date: Thu, 19 Oct 2023 11:55:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-20 15:35:42.737171
- Title: STANLEY: Stochastic Gradient Anisotropic Langevin Dynamics for Learning
Energy-Based Models
- Title（参考訳）: STANLEY:エネルギーモデル学習のための確率勾配異方性ランゲインダイナミクス
- Authors: Belhal Karimi, Jianwen Xie, Ping Li
- Abstract要約: エネルギーベースモデル(EBM)のためのエンドツーエンド学習アルゴリズムを提案する。
本稿では、異方性段差と勾配インフォームド共分散行列に基づく新しい高次元サンプリング法を提案する。
提案手法,すなわちSTANLEYは,新しいMCMC法を用いてエネルギーベースモデルを学習するための最適化アルゴリズムである。
- 参考スコア（独自算出の注目度）: 41.031470884141775
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose in this paper, STANLEY, a STochastic gradient ANisotropic LangEvin
dYnamics, for sampling high dimensional data. With the growing efficacy and
potential of Energy-Based modeling, also known as non-normalized probabilistic
modeling, for modeling a generative process of different natures of high
dimensional data observations, we present an end-to-end learning algorithm for
Energy-Based models (EBM) with the purpose of improving the quality of the
resulting sampled data points. While the unknown normalizing constant of EBMs
makes the training procedure intractable, resorting to Markov Chain Monte Carlo
(MCMC) is in general a viable option. Realizing what MCMC entails for the EBM
training, we propose in this paper, a novel high dimensional sampling method,
based on an anisotropic stepsize and a gradient-informed covariance matrix,
embedded into a discretized Langevin diffusion. We motivate the necessity for
an anisotropic update of the negative samples in the Markov Chain by the
nonlinearity of the backbone of the EBM, here a Convolutional Neural Network.
Our resulting method, namely STANLEY, is an optimization algorithm for training
Energy-Based models via our newly introduced MCMC method. We provide a
theoretical understanding of our sampling scheme by proving that the sampler
leads to a geometrically uniformly ergodic Markov Chain. Several image
generation experiments are provided in our paper to show the effectiveness of
our method.
- Abstract（参考訳）: 本稿では,高次元データをサンプリングするための確率勾配異方性ランジュバンダイナミクスであるstanleyを提案する。
高次元データ観測の異なる性質の生成過程をモデル化するための非正規化確率モデル(non-normalized probabilistic modeling)としても知られるエネルギーベースモデリング(EBM)の有効性と可能性の増大により,得られたサンプルデータ点の品質向上を目的とした,エネルギーベースモデル(EBM)のエンドツーエンド学習アルゴリズムを提案する。
ebmsの未知の正規化定数はトレーニング手順を難解にするが、マルコフ連鎖モンテカルロ (mcmc) への依存は一般に有効な選択肢である。
そこで本論文では,mcmcがebmのトレーニングに必要なことを認識し,異方性ステップズと勾配変形共分散行列に基づく新しい高次元サンプリング法を提案する。
我々は,ESMの背骨の非線形性によるマルコフ連鎖の負のサンプルの異方性更新の必要性を,畳み込みニューラルネットワークで示している。
提案手法,すなわちSTANLEYは,新しいMCMC法を用いてエネルギーベースモデルを学習するための最適化アルゴリズムである。
我々は,サンプリングが幾何学的に一様にエルゴードマルコフ連鎖に繋がることを示すことにより,サンプリングスキームを理論的に理解する。
本手法の有効性を示すため,いくつかの画像生成実験を行った。
関連論文リスト
- Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
論文 参考訳（メタデータ） (2024-02-09T01:11:23Z) - Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。
本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-05T00:23:34Z) - Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。
EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。
本研究では,協調拡散回復可能性 (CDRL) を提案する。
論文 参考訳（メタデータ） (2023-09-10T22:05:24Z) - Balanced Training of Energy-Based Models with Adaptive Flow Sampling [13.951904929884618]
エネルギーベースモデル (EBMs) は、非正規化ログ密度を直接パラメータ化する汎用密度推定モデルである。
我々は、異なる種類の生成モデル、正規化フロー(NF)を用いたESMのための新しい最大可能性トレーニングアルゴリズムを提案する。
本手法はトレーニング中にNFをEMMに適合させ,NF支援サンプリング方式によりESMの正確な勾配が常に得られるようにする。
論文 参考訳（メタデータ） (2023-06-01T13:58:06Z) - GANs and Closures: Micro-Macro Consistency in Multiscale Modeling [0.0]
本稿では,物理シミュレーションとバイアス法を併用して,条件分布をサンプリングする手法を提案する。
このフレームワークは, マルチスケールSDE動的システムサンプリングを改善することができることを示すとともに, 複雑性が増大するシステムにも期待できることを示す。
論文 参考訳（メタデータ） (2022-08-23T03:45:39Z) - Particle Dynamics for Learning EBMs [83.59335980576637]
エネルギーベースモデリングは教師なし学習への有望なアプローチであり、単一のモデルから多くの下流アプリケーションを生み出す。
コントラスト的アプローチ(contrastive approach)"でエネルギーベースモデルを学習する際の主な困難は、各イテレーションで現在のエネルギー関数からサンプルを生成することである。
本稿では,これらのサンプルを取得し,現行モデルからの粗大なMCMCサンプリングを回避するための代替手法を提案する。
論文 参考訳（メタデータ） (2021-11-26T23:41:07Z) - Learning Energy-Based Model with Variational Auto-Encoder as Amortized
Sampler [35.80109055748496]
最大確率でエネルギーベースモデル(ebms)を訓練するにはマルコフ連鎖モンテカルロサンプリングが必要である。
我々は、エネルギー関数から派生したランゲビンダイナミクスのような有限ステップMCMCを初期化する変分オートエンコーダ(VAE)を学びます。
これらのアモールト化MCMCサンプルにより、ESMは「合成による分析」スキームに従って最大で訓練することができる。
我々はこの共同学習アルゴリズムを変分MCMC教育と呼び、VAEはEMMをデータ分布に向けて追従する。
論文 参考訳（メタデータ） (2020-12-29T20:46:40Z) - No MCMC for me: Amortized sampling for fast and stable training of
energy-based models [62.1234885852552]
エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。
本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。
次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
論文 参考訳（メタデータ） (2020-10-08T19:17:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。