論文の概要: Iterated Denoising Energy Matching for Sampling from Boltzmann Densities
- arxiv url: http://arxiv.org/abs/2402.06121v2
- Date: Wed, 26 Jun 2024 04:14:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-27 19:04:48.438950
- Title: Iterated Denoising Energy Matching for Sampling from Boltzmann Densities
- Title（参考訳）: ボルツマン密度からのサンプリングのための繰り返しDenoising Energy Matching
- Authors: Tara Akhound-Sadegh, Jarrid Rector-Brooks, Avishek Joey Bose, Sarthak Mittal, Pablo Lemos, Cheng-Hao Liu, Marcin Sendera, Siamak Ravanbakhsh, Gauthier Gidel, Yoshua Bengio, Nikolay Malkin, Alexander Tong,
- Abstract要約: 反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
- 参考スコア（独自算出の注目度）: 109.23137009609519
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Efficiently generating statistically independent samples from an unnormalized probability distribution, such as equilibrium samples of many-body systems, is a foundational problem in science. In this paper, we propose Iterated Denoising Energy Matching (iDEM), an iterative algorithm that uses a novel stochastic score matching objective leveraging solely the energy function and its gradient -- and no data samples -- to train a diffusion-based sampler. Specifically, iDEM alternates between (I) sampling regions of high model density from a diffusion-based sampler and (II) using these samples in our stochastic matching objective to further improve the sampler. iDEM is scalable to high dimensions as the inner matching objective, is simulation-free, and requires no MCMC samples. Moreover, by leveraging the fast mode mixing behavior of diffusion, iDEM smooths out the energy landscape enabling efficient exploration and learning of an amortized sampler. We evaluate iDEM on a suite of tasks ranging from standard synthetic energy functions to invariant $n$-body particle systems. We show that the proposed approach achieves state-of-the-art performance on all metrics and trains $2-5\times$ faster, which allows it to be the first method to train using energy on the challenging $55$-particle Lennard-Jones system.
- Abstract（参考訳）: 多体系の平衡サンプルのような非正規化確率分布から統計的に独立な標本を効率的に生成することは、科学における基礎的な問題である。
本稿では,エネルギー関数と勾配のみを利用した新しい確率的スコアマッチングアルゴリズムであるイテレーテッドDenoising Energy Matching (iDEM)を提案する。
具体的には, (I) 拡散型試料試料から高モデル密度のサンプリング領域を, (II) それらの試料を確率的マッチング目的に用い, サンプリング領域をさらに改良する。
iDEMは内部マッチングの目的として高次元にスケーラブルであり、シミュレーション不要であり、MCMCサンプルを必要としない。
さらに, 拡散の高速モード混合挙動を活用することにより, エネルギー景観を円滑にし, 焼成試料の効率的な探索と学習を可能にする。
我々は、標準合成エネルギー関数から不変の$n$-body粒子系まで、一連のタスクでiDEMを評価した。
提案手法は,全計測値の最先端性能を達成し,2～5\times$の高速化を実現し,45ドルのLennard-Jonesシステムにおいて,エネルギーを用いたトレーニングを初めて行うことができることを示す。
関連論文リスト
- BNEM: A Boltzmann Sampler Based on Bootstrapped Noised Energy Matching [29.531531253864753]
ボルツマン分布からサンプリングしたデータの代わりにエネルギー関数を与えられたニューラルサンプリングを学習する。
本稿では, 拡散型サンプリング装置であるノイズエネルギーマッチングを提案し, 理論的には分散度を低くし, 複雑さを増す。
実験の結果,BNEMはより堅牢でありながら最先端の性能を達成できることが示された。
論文 参考訳（メタデータ） (2024-09-15T16:41:30Z) - Efficient and Unbiased Sampling of Boltzmann Distributions via Consistency Models [28.596110110641327]
本稿では,一貫性モデル(CM)と重要サンプリングを効果的に組み合わせた新しいサンプリング手法を提案する。
我々は合成エネルギー関数と同変n体粒子系の両方に対するアプローチを評価する。
約100個のNFEを必要とする拡散確率モデル(DDPM)に匹敵する有効サンプルサイズ(ESS)を達成しつつ,6～25個のNFEを用いて非バイアスサンプルを生成する。
論文 参考訳（メタデータ） (2024-09-11T15:02:52Z) - EM Distillation for One-step Diffusion Models [65.57766773137068]
最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。
本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
論文 参考訳（メタデータ） (2024-05-27T05:55:22Z) - On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文 参考訳（メタデータ） (2024-05-18T15:59:41Z) - Boosting Diffusion Models with Moving Average Sampling in Frequency Domain [101.43824674873508]
拡散モデルは、現在のサンプルに頼って次のサンプルをノイズ化し、おそらく不安定化を引き起こす。
本稿では,反復的復調過程をモデル最適化として再解釈し,移動平均機構を利用して全ての先行サンプルをアンサンブルする。
周波数領域における平均サンプリング(MASF)の動作」という完全なアプローチを命名する。
論文 参考訳（メタデータ） (2024-03-26T16:57:55Z) - Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。
画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
論文 参考訳（メタデータ） (2023-11-02T02:05:38Z) - Entropy-based Training Methods for Scalable Neural Implicit Sampler [15.978655106034113]
非正規化対象分布からの効率的なサンプリングは、科学計算と機械学習の基本的な問題である。
本稿では,これらの制約を克服する,効率的でスケーラブルなニューラル暗黙サンプリング手法を提案する。
提案手法では, 提案手法を応用して, 提案手法を用いることにより, 精度の低い大量のサンプルを生成できる。
論文 参考訳（メタデータ） (2023-06-08T05:56:05Z) - Moment Matching Denoising Gibbs Sampling [14.75945343063504]
エネルギーベースモデル(EBM)は、複雑なデータ分散をモデル化するための汎用的なフレームワークを提供する。
スケーラブルなEMMトレーニングのための広く使われているDenoising Score Matching (DSM) 法は、矛盾の問題に悩まされている。
モーメントマッチングを用いた効率的なサンプリングフレームワーク(pseudo)-Gibbsサンプリングを提案する。
論文 参考訳（メタデータ） (2023-05-19T12:58:25Z) - Learning Energy-Based Models by Diffusion Recovery Likelihood [61.069760183331745]
本稿では,エネルギーベースモデルから気軽に学習・サンプルできる拡散回復可能性法を提案する。
学習後、ガウスの白色雑音分布から初期化するサンプリングプロセスにより合成画像を生成することができる。
非条件 CIFAR-10 では,本手法は FID 9.58 と開始スコア 8.30 を達成する。
論文 参考訳（メタデータ） (2020-12-15T07:09:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。