論文の概要: On scalable and efficient training of diffusion samplers

• arxiv url: http://arxiv.org/abs/2505.19552v1
• Date: Mon, 26 May 2025 06:16:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.205942
• Title: On scalable and efficient training of diffusion samplers
• Title（参考訳）: 拡散サンプリング器のスケーラブルで効率的な訓練について
• Authors: Minkyu Kim, Kiyoung Seong, Dongyeop Woo, Sungsoo Ahn, Minsu Kim,
• Abstract要約: データがない場合、非正規化エネルギー分布からサンプルを採取するために拡散モデルを訓練することの課題に対処する。 そこで我々は,従来の強力なサンプリング手法と拡散サンプリングを適切に調和させる,スケーラブルでサンプル効率のよいフレームワークを提案する。 本手法は,拡散サンプリングの標準ベンチマークにおける試料効率を大幅に向上し,高次元問題や実世界の分子コンホメータ生成に優れる。
• 参考スコア（独自算出の注目度）: 26.45926098524023
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We address the challenge of training diffusion models to sample from unnormalized energy distributions in the absence of data, the so-called diffusion samplers. Although these approaches have shown promise, they struggle to scale in more demanding scenarios where energy evaluations are expensive and the sampling space is high-dimensional. To address this limitation, we propose a scalable and sample-efficient framework that properly harmonizes the powerful classical sampling method and the diffusion sampler. Specifically, we utilize Monte Carlo Markov chain (MCMC) samplers with a novelty-based auxiliary energy as a Searcher to collect off-policy samples, using an auxiliary energy function to compensate for exploring modes the diffusion sampler rarely visits. These off-policy samples are then combined with on-policy data to train the diffusion sampler, thereby expanding its coverage of the energy landscape. Furthermore, we identify primacy bias, i.e., the preference of samplers for early experience during training, as the main cause of mode collapse during training, and introduce a periodic re-initialization trick to resolve this issue. Our method significantly improves sample efficiency on standard benchmarks for diffusion samplers and also excels at higher-dimensional problems and real-world molecular conformer generation.
• Abstract（参考訳）: データのない非正規化エネルギー分布からサンプルを抽出する拡散モデル(拡散サンプリング)の訓練の課題に対処する。 これらの手法は将来性を示しているが、エネルギー評価が高価でサンプリング空間が高次元であるより要求の多いシナリオでスケールするのに苦労している。 この制限に対処するために,従来の強力なサンプリング手法と拡散サンプリングを適切に調和させる,スケーラブルでサンプル効率のよいフレームワークを提案する。 具体的には,モンテカルロ・マルコフ連鎖 (MCMC) のサンプルを探索機として利用し, 外部サンプルを収集し, 補助エネルギー関数を用いて, 拡散試料がめったに訪れないモードを探索するための補償を行う。 これらのオフ・ポリティクスサンプルは、オン・ポリティクス・データと組み合わせて拡散サンプリング装置を訓練し、エネルギー景観のカバレッジを拡大する。 さらに,トレーニング中のモード崩壊の主な原因として,早期経験のためのサンプルの選好というプライマリシーバイアスを同定し,この問題を解決するための定期的な再初期化手法を導入する。 本手法は,拡散サンプリングの標準ベンチマークにおける試料効率を大幅に向上し,高次元問題や実世界の分子コンホメータ生成に優れる。

関連論文リスト

• Single-Step Consistent Diffusion Samplers [8.758218443992467]
  既存のサンプリングアルゴリズムは通常、高品質なサンプルを作成するために多くの反復的なステップを必要とする。 単一ステップで高忠実度サンプルを生成するために設計された新しいサンプルクラスである,一貫した拡散サンプリングを導入している。 提案手法は,従来の拡散サンプリング装置で要求されるネットワーク評価の1%以下を用いて,高忠実度サンプルが得られることを示す。
  論文  参考訳（メタデータ） (2025-02-11T14:25:52Z)
• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Entropy-based Training Methods for Scalable Neural Implicit Sampler [15.978655106034113]
  非正規化対象分布からの効率的なサンプリングは、科学計算と機械学習の基本的な問題である。 本稿では,これらの制約を克服する,効率的でスケーラブルなニューラル暗黙サンプリング手法を提案する。 提案手法では, 提案手法を応用して, 提案手法を用いることにより, 精度の低い大量のサンプルを生成できる。
  論文  参考訳（メタデータ） (2023-06-08T05:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。