論文の概要: BEnDEM:A Boltzmann Sampler Based on Bootstrapped Denoising Energy Matching

• arxiv url: http://arxiv.org/abs/2409.09787v1
• Date: Sun, 15 Sep 2024 16:41:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 17:30:41.910144
• Title: BEnDEM:A Boltzmann Sampler Based on Bootstrapped Denoising Energy Matching
• Title（参考訳）: BEnDEM:ブートストラップ型Denoising Energy Matchingに基づくボルツマンサンプリング
• Authors: RuiKang OuYang, Bo Qiang, José Miguel Hernández-Lobato,
• Abstract要約: ボルツマン分布からサンプリングしたデータの代わりにエネルギー関数を与えられたニューラルサンプリングを学習する。 ノイズデータのエネルギーを学習することにより,拡散型サンプル装置 ENERGYBASE-D DENOISING ENERGY MATCHING を提案する。 2次元ガウス混合モデル(GMM)と4粒子二重埋設ポテンシャル(DW-4)によるEnDEMとBEnDEMの評価を行った。
• 参考スコア（独自算出の注目度）: 29.531531253864753
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Developing an efficient sampler capable of generating independent and identically distributed (IID) samples from a Boltzmann distribution is a crucial challenge in scientific research, e.g. molecular dynamics. In this work, we intend to learn neural samplers given energy functions instead of data sampled from the Boltzmann distribution. By learning the energies of the noised data, we propose a diffusion-based sampler, ENERGY-BASED DENOISING ENERGY MATCHING, which theoretically has lower variance and more complexity compared to related works. Furthermore, a novel bootstrapping technique is applied to EnDEM to balance between bias and variance. We evaluate EnDEM and BEnDEM on a 2-dimensional 40 Gaussian Mixture Model (GMM) and a 4-particle double-welling potential (DW-4). The experimental results demonstrate that BEnDEM can achieve state-of-the-art performance while being more robust.
• Abstract（参考訳）: ボルツマン分布から独立で同一分布のIIDサンプルを生成することができる効率的なサンプリング器の開発は、例えば分子動力学などの科学的研究において重要な課題である。 本研究では,ボルツマン分布から得られたデータの代わりに,エネルギー関数を与えられたニューラルサンプリングを学習する。 ノイズデータのエネルギーを学習することにより,理論上より分散度と複雑さが低い拡散型サンプル装置ENERGY-BASED DENOISING ENERGY MATCHINGを提案する。 さらに, バイアスと分散のバランスをとるために, EnDEM に新しいブートストラップ技術を適用した。 本研究では,2次元ガウス混合モデル (GMM) と4次元粒子重畳ポテンシャル (DW-4) を用いてEnDEMとBEnDEMを評価した。 実験により,BEnDEMはより堅牢でありながら最先端の性能を達成できることが示された。

関連論文リスト

• Efficient and Unbiased Sampling of Boltzmann Distributions via Consistency Models [28.596110110641327]
  本稿では,一貫性モデル(CM)と重要サンプリングを効果的に組み合わせた新しいサンプリング手法を提案する。 我々は合成エネルギー関数と同変n体粒子系の両方に対するアプローチを評価する。 約100個のNFEを必要とする拡散確率モデル(DDPM)に匹敵する有効サンプルサイズ(ESS)を達成しつつ,6～25個のNFEを用いて非バイアスサンプルを生成する。
  論文  参考訳（メタデータ） (2024-09-11T15:02:52Z)
• Discrete generative diffusion models without stochastic differential equations: a tensor network approach [1.5839621757142595]
  拡散モデル(DM)は、生成機械学習の手法のクラスである。 ネットワーク(TN)を用いて,このような離散モデルを効率的に定義し,サンプリングする方法を示す。」
  論文  参考訳（メタデータ） (2024-07-15T18:00:11Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)
• Generalized Contrastive Divergence: Joint Training of Energy-Based Model and Diffusion Model through Inverse Reinforcement Learning [13.22531381403974]
  Generalized Contrastive Divergence (GCD) はエネルギーベースモデル(EBM)とサンプルを同時にトレーニングするための新しい目的関数である。 EBMと拡散モデルの両方にジョイントトレーニングが有用であることを示す予備的かつ有望な結果を示す。
  論文  参考訳（メタデータ） (2023-12-06T10:10:21Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• IBADR: an Iterative Bias-Aware Dataset Refinement Framework for Debiasing NLU models [52.03761198830643]
  IBADR(Iterative Bias-Aware dataset Refinement framework)を提案する。 まず、プール内のサンプルのバイアス度を定量化するために浅いモデルを訓練する。 次に、各サンプルにバイアス度を表すバイアス指標をペアにして、これらの拡張サンプルを使用してサンプルジェネレータを訓練する。 このようにして、このジェネレータは、バイアスインジケータとサンプルの対応関係を効果的に学習することができる。
  論文  参考訳（メタデータ） (2023-11-01T04:50:38Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Dual Training of Energy-Based Models with Overparametrized Shallow Neural Networks [41.702175127106784]
  エネルギーベースモデル(英: Energy-based model、EBM)は、通常最大推定によって訓練される生成モデルである。 本稿では,データセットから引き出されたランダムなサンプルで粒子を再起動するEMMアルゴリズムの2つの定式化を提案し,その再起動が各ステップ毎にスコアに対応することを示す。 これらの結果は単純な数値実験で説明される。
  論文  参考訳（メタデータ） (2021-07-11T21:43:18Z)
• Energy-Based Reranking: Improving Neural Machine Translation Using Energy-Based Models [59.039592890187144]
  自己回帰型ニューラルネットワーク翻訳(NMT)における最大推定(MLE)とBLEUスコアなどのタスク尺度の相違について検討する。 MLEベースのトレーニングされたNMTから引き出されたサンプルは、所望の分布をサポートします。ビーム復号出力と比較して、BLEUスコアがはるかに高いサンプルがあります。 目的文の辺縁エネルギーモデルと、目的文の辺縁エネルギーモデルの両方を用いてアルゴリズムを改良する。
  論文  参考訳（メタデータ） (2020-09-20T02:50:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。