論文の概要: Efficient and Unbiased Sampling of Boltzmann Distributions via Consistency Models

• arxiv url: http://arxiv.org/abs/2409.07323v1
• Date: Wed, 11 Sep 2024 15:02:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 14:13:20.292396
• Title: Efficient and Unbiased Sampling of Boltzmann Distributions via Consistency Models
• Title（参考訳）: 一貫性モデルによるボルツマン分布の効率的・不偏サンプリング
• Authors: Fengzhe Zhang, Jiajun He, Laurence I. Midgley, Javier Antorán, José Miguel Hernández-Lobato,
• Abstract要約: 本稿では,一貫性モデル(CM)と重要サンプリングを効果的に組み合わせた新しいサンプリング手法を提案する。 我々は合成エネルギー関数と同変n体粒子系の両方に対するアプローチを評価する。 約100個のNFEを必要とする拡散確率モデル(DDPM)に匹敵する有効サンプルサイズ(ESS)を達成しつつ,6～25個のNFEを用いて非バイアスサンプルを生成する。
• 参考スコア（独自算出の注目度）: 28.596110110641327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have shown promising potential for advancing Boltzmann Generators. However, two critical challenges persist: (1) inherent errors in samples due to model imperfections, and (2) the requirement of hundreds of functional evaluations (NFEs) to achieve high-quality samples. While existing solutions like importance sampling and distillation address these issues separately, they are often incompatible, as most distillation models lack the necessary density information for importance sampling. This paper introduces a novel sampling method that effectively combines Consistency Models (CMs) with importance sampling. We evaluate our approach on both synthetic energy functions and equivariant n-body particle systems. Our method produces unbiased samples using only 6-25 NFEs while achieving a comparable Effective Sample Size (ESS) to Denoising Diffusion Probabilistic Models (DDPMs) that require approximately 100 NFEs.
• Abstract（参考訳）: 拡散モデルはボルツマン発電機を前進させる有望な可能性を示している。 しかし,(1)モデル不完全性に起因するサンプルの固有のエラー,(2)高品質なサンプルを実現するために数百の機能評価(NFE)が必要である,という2つの重要な課題が続いている。 重要サンプリングや蒸留のような既存のソリューションはこれらの問題を別々に扱うが、ほとんどの蒸留モデルは重要サンプリングに必要な密度情報を欠いているため、相容れないことが多い。 本稿では,一貫性モデル(CM)と重要サンプリングを効果的に組み合わせた新しいサンプリング手法を提案する。 我々は合成エネルギー関数と同変n体粒子系の両方に対するアプローチを評価する。 約100個のNFEを必要とする拡散確率モデル(DDPM)に匹敵する有効サンプルサイズ(ESS)を達成しつつ,6～25個のNFEを用いて非バイアスサンプルを生成する。

関連論文リスト

• BNEM: A Boltzmann Sampler Based on Bootstrapped Noised Energy Matching [29.531531253864753]
  ボルツマン分布からサンプリングしたデータの代わりにエネルギー関数を与えられたニューラルサンプリングを学習する。 本稿では, 拡散型サンプリング装置であるノイズエネルギーマッチングを提案し, 理論的には分散度を低くし, 複雑さを増す。 実験の結果,BNEMはより堅牢でありながら最先端の性能を達成できることが示された。
  論文  参考訳（メタデータ） (2024-09-15T16:41:30Z)
• Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
  最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。 本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
  論文  参考訳（メタデータ） (2024-06-23T20:34:18Z)
• Boosting Diffusion Models with Moving Average Sampling in Frequency Domain [101.43824674873508]
  拡散モデルは、現在のサンプルに頼って次のサンプルをノイズ化し、おそらく不安定化を引き起こす。 本稿では,反復的復調過程をモデル最適化として再解釈し,移動平均機構を利用して全ての先行サンプルをアンサンブルする。 周波数領域における平均サンプリング(MASF)の動作」という完全なアプローチを命名する。
  論文  参考訳（メタデータ） (2024-03-26T16:57:55Z)
• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• SA-Solver: Stochastic Adams Solver for Fast Sampling of Diffusion Models [66.67616086310662]
  拡散確率モデル(DPM)は生成タスクでかなりの成功を収めた。 DPM からのサンプリングは、時間を要する拡散 SDE や ODE の解法と等価であるため、改良された微分方程式解法に基づく多数の高速サンプリング手法が提案されている。 拡散SDEを解くための効率の良いAdams法であるSA-of-rを提案する。
  論文  参考訳（メタデータ） (2023-09-10T12:44:54Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Learning Multivariate CDFs and Copulas using Tensor Factorization [39.24470798045442]
  データの多変量分布を学習することは、統計学と機械学習における中核的な課題である。 本研究では,多変量累積分布関数(CDF)を学習し,混合確率変数を扱えるようにすることを目的とする。 混合確率変数の合同CDFの任意のグリッドサンプリング版は、単純ベイズモデルとして普遍表現を許容することを示す。 提案モデルの性能を,回帰,サンプリング,データ計算を含むいくつかの合成および実データおよびアプリケーションで実証する。
  論文  参考訳（メタデータ） (2022-10-13T16:18:46Z)
• Learning Fast Samplers for Diffusion Models by Differentiating Through Sample Quality [44.37533757879762]
  差分拡散サンプリングサーチ(DDSS)は,任意の事前学習拡散モデルに対して高速サンプリングを最適化する手法である。 また、拡散モデルのためのフレキシブルな非マルコフ型サンプルモデルのファミリーである一般化ガウス拡散モデル(GGDM)を提示する。 本手法は, 微調整や再学習の必要なく, 事前学習した拡散モデルと互換性がある。
  論文  参考訳（メタデータ） (2022-02-11T18:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。