論文の概要: Efficient Training of Energy-Based Models Using Jarzynski Equality
- arxiv url: http://arxiv.org/abs/2305.19414v2
- Date: Mon, 11 Dec 2023 16:39:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-14 23:20:19.504569
- Title: Efficient Training of Energy-Based Models Using Jarzynski Equality
- Title(参考訳): jarzynski等式を用いたエネルギーベースモデルの効率的な学習
- Authors: Davide Carbone, Mengjian Hua, Simon Coste, Eric Vanden-Eijnden
- Abstract要約: エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にインスパイアされた生成モデルである。
モデルパラメータに対する勾配の計算には、モデルの分布をサンプリングする必要がある。
ここでは、ジャジンスキーの等式に基づく非平衡熱力学の結果を用いて、この計算を効率的に行う方法を示す。
- 参考スコア(独自算出の注目度): 13.636994997309307
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Energy-based models (EBMs) are generative models inspired by statistical
physics with a wide range of applications in unsupervised learning. Their
performance is best measured by the cross-entropy (CE) of the model
distribution relative to the data distribution. Using the CE as the objective
for training is however challenging because the computation of its gradient
with respect to the model parameters requires sampling the model distribution.
Here we show how results for nonequilibrium thermodynamics based on Jarzynski
equality together with tools from sequential Monte-Carlo sampling can be used
to perform this computation efficiently and avoid the uncontrolled
approximations made using the standard contrastive divergence algorithm.
Specifically, we introduce a modification of the unadjusted Langevin algorithm
(ULA) in which each walker acquires a weight that enables the estimation of the
gradient of the cross-entropy at any step during GD, thereby bypassing sampling
biases induced by slow mixing of ULA. We illustrate these results with
numerical experiments on Gaussian mixture distributions as well as the MNIST
dataset. We show that the proposed approach outperforms methods based on the
contrastive divergence algorithm in all the considered situations.
- Abstract(参考訳): エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にインスパイアされた生成モデルであり、教師なし学習に幅広い応用がある。
それらの性能は、データ分布に対するモデル分布のクロスエントロピー(CE)によって最もよく測定される。
しかし、モデルパラメータに対する勾配の計算にはモデル分布をサンプリングする必要があるため、CEをトレーニングの目的として使用することは難しい。
ここでは,jarzynski等式に基づく非平衡熱力学の計算結果と逐次モンテカルロサンプリングのツールを用いて,この計算を効率的に行う方法を示し,標準コントラスト発散アルゴリズムを用いた非制御近似を回避できることを示す。
具体的には、各歩行者がGD中の任意のステップでクロスエントロピーの勾配を推定できる重みを取得でき、ULAの緩やかな混合によるサンプリングバイアスを回避できる未調整ランゲヴィンアルゴリズム(ULA)の修正を導入する。
これらの結果は、ガウス混合分布とMNISTデータセットに関する数値実験で説明する。
提案手法は,すべての状況において,コントラスト発散アルゴリズムに基づく手法よりも優れていることを示す。
関連論文リスト
- Online Variational Sequential Monte Carlo [56.16884466478886]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳(メタデータ) (2023-12-19T21:45:38Z) - Noise in the reverse process improves the approximation capabilities of
diffusion models [27.65800389807353]
生成モデリングにおける最先端技術であるスコアベース生成モデリング(SGM)では、リバースプロセスは決定論的手法よりも優れた性能を発揮することが知られている。
本稿では,ニューラル常微分方程式 (ODE) とニューラルディメンション方程式 (SDE) を逆過程として比較し,この現象の核となる。
我々は、Fokker-Planck方程式の軌跡を近似するニューラルSDEの能力を解析し、ニューラルティの利点を明らかにする。
論文 参考訳(メタデータ) (2023-12-13T02:39:10Z) - Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。
画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
論文 参考訳(メタデータ) (2023-11-02T02:05:38Z) - Balanced Training of Energy-Based Models with Adaptive Flow Sampling [13.951904929884618]
エネルギーベースモデル (EBMs) は、非正規化ログ密度を直接パラメータ化する汎用密度推定モデルである。
我々は、異なる種類の生成モデル、正規化フロー(NF)を用いたESMのための新しい最大可能性トレーニングアルゴリズムを提案する。
本手法はトレーニング中にNFをEMMに適合させ,NF支援サンプリング方式によりESMの正確な勾配が常に得られるようにする。
論文 参考訳(メタデータ) (2023-06-01T13:58:06Z) - A Geometric Perspective on Diffusion Models [60.69328526215776]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングを検証し,そのサンプリングダイナミクスの興味深い構造を明らかにした。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳(メタデータ) (2023-05-31T15:33:16Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic
Representation [62.017505017414564]
教師なしの方法でニューラルソルバを訓練することが不可欠である。
既存の手法は妥当な精度を達成し、重要な計算課題と不正確なシミュレーションをもたらす。
PDEの確率的表現を用いて教師なしニューラルソルバを訓練するためのモンテカルロPDEソルバを提案する。
対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
論文 参考訳(メタデータ) (2023-02-10T08:05:19Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳(メタデータ) (2020-10-22T05:04:38Z) - Estimation of sparse Gaussian graphical models with hidden clustering
structure [8.258451067861932]
隠れクラスタリング構造を持つスパースガウス図形モデルを推定するモデルを提案する。
対称なガウス・シーデルに基づく乗算器の交互方向法を開発した。
合成データと実データの両方に関する数値実験により,本モデルの有効性が示された。
論文 参考訳(メタデータ) (2020-04-17T08:43:31Z) - Expected Information Maximization: Using the I-Projection for Mixture
Density Estimation [22.096148237257644]
高度にマルチモーダルなデータのモデリングは、機械学習において難しい問題である。
我々は,予測情報最大化(EIM)と呼ばれる新しいアルゴリズムを提案する。
我々のアルゴリズムは最近のGANアプローチよりもI射影の計算に効果的であることを示す。
論文 参考訳(メタデータ) (2020-01-23T17:24:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。