論文の概要: Iterated Denoising Energy Matching for Sampling from Boltzmann Densities
- arxiv url: http://arxiv.org/abs/2402.06121v1
- Date: Fri, 9 Feb 2024 01:11:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 18:16:46.924048
- Title: Iterated Denoising Energy Matching for Sampling from Boltzmann Densities
- Title(参考訳): ボルツマン密度からのサンプリングのための繰り返しDenoising Energy Matching
- Authors: Tara Akhound-Sadegh, Jarrid Rector-Brooks, Avishek Joey Bose, Sarthak
Mittal, Pablo Lemos, Cheng-Hao Liu, Marcin Sendera, Siamak Ravanbakhsh,
Gauthier Gidel, Yoshua Bengio, Nikolay Malkin, Alexander Tong
- Abstract要約: 反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2~5倍の速さでトレーニングを行う。
- 参考スコア(独自算出の注目度): 111.90150190668555
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Efficiently generating statistically independent samples from an unnormalized
probability distribution, such as equilibrium samples of many-body systems, is
a foundational problem in science. In this paper, we propose Iterated Denoising
Energy Matching (iDEM), an iterative algorithm that uses a novel stochastic
score matching objective leveraging solely the energy function and its gradient
-- and no data samples -- to train a diffusion-based sampler. Specifically,
iDEM alternates between (I) sampling regions of high model density from a
diffusion-based sampler and (II) using these samples in our stochastic matching
objective to further improve the sampler. iDEM is scalable to high dimensions
as the inner matching objective, is simulation-free, and requires no MCMC
samples. Moreover, by leveraging the fast mode mixing behavior of diffusion,
iDEM smooths out the energy landscape enabling efficient exploration and
learning of an amortized sampler. We evaluate iDEM on a suite of tasks ranging
from standard synthetic energy functions to invariant $n$-body particle
systems. We show that the proposed approach achieves state-of-the-art
performance on all metrics and trains $2-5\times$ faster, which allows it to be
the first method to train using energy on the challenging $55$-particle
Lennard-Jones system.
- Abstract(参考訳): 多体系の平衡サンプルのような非正規化確率分布から統計的に独立なサンプルを効率的に生成することは、科学における基礎的な問題である。
本稿では,エネルギー関数とその勾配のみを利用する新しい確率的スコアマッチング目標を用いて,拡散ベースのサンプルを学習する反復アルゴリズムであるイテレーテッド・デノイジング・エネルギマッチング(idem)を提案する。
具体的には, (I) 拡散型試料試料から高モデル密度のサンプリング領域を, (II) それらの試料を確率的マッチング目的に用い, サンプリング領域をさらに改良する。
iDEMは内部マッチングの目的として高次元にスケーラブルであり、シミュレーション不要であり、MCMCサンプルを必要としない。
さらに, 拡散の高速モード混合挙動を活用することにより, エネルギー景観を円滑にし, 焼成試料の効率的な探索と学習を可能にする。
我々は、標準合成エネルギー関数から不変の$n$-body粒子系まで、一連のタスクでiDEMを評価する。
提案手法は,全計測値の最先端性能を達成し,2~5\times$の高速化を実現し,45ドルのLennard-Jonesシステムにおいて,エネルギーを用いたトレーニングを初めて行うことができることを示す。
関連論文リスト
- Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。
画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
論文 参考訳(メタデータ) (2023-11-02T02:05:38Z) - Learning Energy-Based Models by Cooperative Diffusion Recovery
Likelihood [70.96045509920326]
高次元データに対する最大推定値のトレーニングエネルギーベースモデル(EBMs)は、困難かつ時間を要する可能性がある。
本研究では,データセットの雑音の増大する頂点上で定義された一連のEMMから,協調拡散回復確率(CDRL)を抽出し,抽出する手法を提案する。
CIFAR-10 と ImageNet 32x32 の既存 EBM 法と比較して FID のスコアが大幅に向上し,DRL を2倍高速化した。
論文 参考訳(メタデータ) (2023-09-10T22:05:24Z) - Entropy-based Training Methods for Scalable Neural Implicit Sampler [15.978655106034113]
非正規化対象分布からの効率的なサンプリングは、科学計算と機械学習の基本的な問題である。
本稿では,これらの制約を克服する,効率的でスケーラブルなニューラル暗黙サンプリング手法を提案する。
提案手法では, 提案手法を応用して, 提案手法を用いることにより, 精度の低い大量のサンプルを生成できる。
論文 参考訳(メタデータ) (2023-06-08T05:56:05Z) - Efficient Training of Energy-Based Models Using Jarzynski Equality [13.636994997309307]
エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にインスパイアされた生成モデルである。
モデルパラメータに対する勾配の計算には、モデルの分布をサンプリングする必要がある。
ここでは、ジャジンスキーの等式に基づく非平衡熱力学の結果を用いて、この計算を効率的に行う方法を示す。
論文 参考訳(メタデータ) (2023-05-30T21:07:52Z) - Moment Matching Denoising Gibbs Sampling [16.12364256106377]
エネルギーベースモデル(EBM)は、複雑なデータ分散をモデル化するための汎用的なフレームワークを提供する。
スケーラブルなEMMトレーニングのための広く使われているDenoising Score Matching (DSM) 法は、矛盾の問題に悩まされている。
モーメントマッチングを用いた効率的なサンプリングフレームワーク(pseudo)-Gibbsサンプリングを提案する。
論文 参考訳(メタデータ) (2023-05-19T12:58:25Z) - Sampling with Mollified Interaction Energy Descent [57.00583139477843]
モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。
MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する
我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
論文 参考訳(メタデータ) (2022-10-24T16:54:18Z) - Selectively increasing the diversity of GAN-generated samples [8.980453507536017]
本稿では,GAN生成サンプルの多様性を選択的に向上する手法を提案する。
本研究では,CERN における ALICE 実験のZero Degree Calorimeter から得られたデータをシミュレーションする実生活シナリオとともに,本手法の優位性を示す。
論文 参考訳(メタデータ) (2022-07-04T16:27:06Z) - Learning Energy-Based Models by Diffusion Recovery Likelihood [61.069760183331745]
本稿では,エネルギーベースモデルから気軽に学習・サンプルできる拡散回復可能性法を提案する。
学習後、ガウスの白色雑音分布から初期化するサンプリングプロセスにより合成画像を生成することができる。
非条件 CIFAR-10 では,本手法は FID 9.58 と開始スコア 8.30 を達成する。
論文 参考訳(メタデータ) (2020-12-15T07:09:02Z) - Denoising Diffusion Implicit Models [117.03720513930335]
DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。
DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
論文 参考訳(メタデータ) (2020-10-06T06:15:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。