論文の概要: BNEM: A Boltzmann Sampler Based on Bootstrapped Noised Energy Matching

• arxiv url: http://arxiv.org/abs/2409.09787v2
• Date: Thu, 10 Oct 2024 14:09:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 20:46:36.425133
• Title: BNEM: A Boltzmann Sampler Based on Bootstrapped Noised Energy Matching
• Title（参考訳）: BNEM:Bootstrapped Noised Energy Matchingに基づくボルツマンサンプリング器
• Authors: RuiKang OuYang, Bo Qiang, José Miguel Hernández-Lobato,
• Abstract要約: ボルツマン分布からサンプリングしたデータの代わりにエネルギー関数を与えられたニューラルサンプリングを学習する。 本稿では, 拡散型サンプリング装置であるノイズエネルギーマッチングを提案し, 理論的には分散度を低くし, 複雑さを増す。 実験の結果,BNEMはより堅牢でありながら最先端の性能を達成できることが示された。
• 参考スコア（独自算出の注目度）: 29.531531253864753
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Developing an efficient sampler capable of generating independent and identically distributed (IID) samples from a Boltzmann distribution is a crucial challenge in scientific research, e.g. molecular dynamics. In this work, we intend to learn neural samplers given energy functions instead of data sampled from the Boltzmann distribution. By learning the energies of the noised data, we propose a diffusion-based sampler, Noised Energy Matching, which theoretically has lower variance and more complexity compared to related works. Furthermore, a novel bootstrapping technique is applied to NEM to balance between bias and variance. We evaluate NEM and BNEM on a 2-dimensional 40 Gaussian Mixture Model (GMM) and a 4-particle double-well potential (DW-4). The experimental results demonstrate that BNEM can achieve state-of-the-art performance while being more robust.
• Abstract（参考訳）: ボルツマン分布から独立で同一分布のIIDサンプルを生成することができる効率的なサンプリング器の開発は、例えば分子動力学などの科学的研究において重要な課題である。 本研究では,ボルツマン分布から得られたデータの代わりに,エネルギー関数を与えられたニューラルサンプリングを学習する。 ノイズデータからエネルギーを学習することにより,理論上より分散度が低く,関連する作業よりも複雑である拡散型サンプリング装置であるNossd Energy Matchingを提案する。 さらに, バイアスと分散のバランスをとるため, NEMに新しいブートストラップ技術を適用した。 2次元のガウス混合モデル(GMM)と4次元のダブルウェルポテンシャル(DW-4)を用いてNEMとBNEMを評価した。 実験の結果,BNEMはより堅牢でありながら最先端の性能を達成できることがわかった。

関連論文リスト

• Efficient and Unbiased Sampling of Boltzmann Distributions via Consistency Models [28.596110110641327]
  本稿では,一貫性モデル(CM)と重要サンプリングを効果的に組み合わせた新しいサンプリング手法を提案する。 我々は合成エネルギー関数と同変n体粒子系の両方に対するアプローチを評価する。 約100個のNFEを必要とする拡散確率モデル(DDPM)に匹敵する有効サンプルサイズ(ESS)を達成しつつ,6～25個のNFEを用いて非バイアスサンプルを生成する。
  論文  参考訳（メタデータ） (2024-09-11T15:02:52Z)
• Discrete generative diffusion models without stochastic differential equations: a tensor network approach [1.5839621757142595]
  拡散モデル(DM)は、生成機械学習の手法のクラスである。 ネットワーク(TN)を用いて,このような離散モデルを効率的に定義し,サンプリングする方法を示す。」
  論文  参考訳（メタデータ） (2024-07-15T18:00:11Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)
• Generalized Contrastive Divergence: Joint Training of Energy-Based Model and Diffusion Model through Inverse Reinforcement Learning [13.22531381403974]
  Generalized Contrastive Divergence (GCD) はエネルギーベースモデル(EBM)とサンプルを同時にトレーニングするための新しい目的関数である。 EBMと拡散モデルの両方にジョイントトレーニングが有用であることを示す予備的かつ有望な結果を示す。
  論文  参考訳（メタデータ） (2023-12-06T10:10:21Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• IBADR: an Iterative Bias-Aware Dataset Refinement Framework for Debiasing NLU models [52.03761198830643]
  IBADR(Iterative Bias-Aware dataset Refinement framework)を提案する。 まず、プール内のサンプルのバイアス度を定量化するために浅いモデルを訓練する。 次に、各サンプルにバイアス度を表すバイアス指標をペアにして、これらの拡張サンプルを使用してサンプルジェネレータを訓練する。 このようにして、このジェネレータは、バイアスインジケータとサンプルの対応関係を効果的に学習することができる。
  論文  参考訳（メタデータ） (2023-11-01T04:50:38Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Dual Training of Energy-Based Models with Overparametrized Shallow Neural Networks [41.702175127106784]
  エネルギーベースモデル(英: Energy-based model、EBM)は、通常最大推定によって訓練される生成モデルである。 本稿では,データセットから引き出されたランダムなサンプルで粒子を再起動するEMMアルゴリズムの2つの定式化を提案し,その再起動が各ステップ毎にスコアに対応することを示す。 これらの結果は単純な数値実験で説明される。
  論文  参考訳（メタデータ） (2021-07-11T21:43:18Z)
• Energy-Based Reranking: Improving Neural Machine Translation Using Energy-Based Models [59.039592890187144]
  自己回帰型ニューラルネットワーク翻訳(NMT)における最大推定(MLE)とBLEUスコアなどのタスク尺度の相違について検討する。 MLEベースのトレーニングされたNMTから引き出されたサンプルは、所望の分布をサポートします。ビーム復号出力と比較して、BLEUスコアがはるかに高いサンプルがあります。 目的文の辺縁エネルギーモデルと、目的文の辺縁エネルギーモデルの両方を用いてアルゴリズムを改良する。
  論文  参考訳（メタデータ） (2020-09-20T02:50:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。