論文の概要: Gradient-Free Score-Based Sampling Methods with Ensembles

• arxiv url: http://arxiv.org/abs/2401.17539v2
• Date: Sat, 31 May 2025 01:52:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 20:53:52.780929
• Title: Gradient-Free Score-Based Sampling Methods with Ensembles
• Title（参考訳）: アンサンブルを用いたグラディエントフリースコアベースサンプリング法
• Authors: Bryan Riel, Tobias Bischoff,
• Abstract要約: スコアに基づくサンプリング手法にアンサンブルを導入し、勾配のない近似サンプリング手法を開発した。 様々な例を通して,アンサンブル戦略の有効性を実証する。 本研究は,複雑な確率分布をモデル化するためのアンサンブル戦略の可能性を明らかにする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent developments in generative modeling have utilized score-based methods coupled with stochastic differential equations to sample from complex probability distributions. However, these and other performant sampling methods generally require gradients of the target probability distribution, which can be unavailable or computationally prohibitive in many scientific and engineering applications. Here, we introduce ensembles within score-based sampling methods to develop gradient-free approximate sampling techniques that leverage the collective dynamics of particle ensembles to compute approximate reverse diffusion drifts. We introduce the underlying methodology, emphasizing its relationship with generative diffusion models and the previously introduced F\"ollmer sampler. We demonstrate the efficacy of the ensemble strategies through various examples, ranging from low- to medium-dimensionality sampling problems, including multi-modal and highly non-Gaussian probability distributions, and provide comparisons to traditional methods like the No-U-Turn Sampler. Additionally, we showcase these strategies in the context of a high-dimensional Bayesian inversion problem within the geophysical sciences. Our findings highlight the potential of ensemble strategies for modeling complex probability distributions in situations where gradients are unavailable.
• Abstract（参考訳）: 生成的モデリングの最近の進歩は、確率微分方程式と組み合わされたスコアベースの手法を用いて、複素確率分布のサンプリングを行っている。 しかし、これらや他のパフォーマンスサンプリング手法は、多くの科学や工学の応用では利用できない、あるいは計算的に禁じられるような、ターゲットの確率分布の勾配を必要とする。 本稿では, 粒子アンサンブルの集合力学を利用して近似逆拡散ドリフトを計算する勾配のない近似サンプリング手法を開発するために, スコアベースサンプリング手法内にアンサンブルを導入する。 本稿では、生成拡散モデルと以前に導入されたF\"ollmer samplerとの関係を強調し、基礎となる方法論を紹介する。 我々は,マルチモーダルおよび非ガウス確率分布を含む低次元から中次元のサンプリング問題まで,様々な例によるアンサンブル戦略の有効性を実証し,No-U-Turn Samplerのような従来の手法との比較を行った。 さらに,これらの戦略を,地球物理学における高次元ベイズ反転問題という文脈で紹介する。 本研究は,勾配が不可能な状況において,複雑な確率分布をモデル化するためのアンサンブル戦略の可能性を明らかにするものである。

関連論文リスト

• Adjoint Sampling: Highly Scalable Diffusion Samplers via Adjoint Matching [33.9461078261722]
  非正規化密度からの拡散過程を学習するための,高度にスケーラブルで効率的なアルゴリズムであるAdjoint Samplingを導入する。 カルテジアンおよびねじり座標の両方の分子をモデル化するために、鍵対称性と周期境界条件を組み込む方法を示す。 本稿では,古典的エネルギー関数の広範な実験を通じて提案手法の有効性を実証し,さらにニューラルネットワークに基づくエネルギーモデルまで拡張する。
  論文  参考訳（メタデータ） (2025-04-16T02:20:06Z)
• Diffusing Differentiable Representations [60.72992910766525]
  本稿では,事前学習した拡散モデルを用いて,微分可能な表現(拡散)をサンプリングする,新しい学習自由な手法を提案する。 差分によって引き起こされるサンプルに対する暗黙の制約を特定し、この制約に対処することで、生成されたオブジェクトの一貫性と詳細が大幅に改善されることを示す。
  論文  参考訳（メタデータ） (2024-12-09T20:42:58Z)
• Learned Reference-based Diffusion Sampling for multi-modal distributions [2.1383136715042417]
  本稿では,学習参照に基づく拡散サンプリング(LRDS)について紹介する。 LRDSは、高密度空間領域にあるサンプルの参照拡散モデルを学ぶことによって、2段階で進行する。 LRDSは、様々な難解な分布上の競合するアルゴリズムと比較して、目標分布に関する事前知識を最大限に活用することが実験的に実証された。
  論文  参考訳（メタデータ） (2024-10-25T10:23:34Z)
• Conditional sampling within generative diffusion models [12.608803080528142]
  生成拡散モデルにおける条件付きサンプリングに対する既存の計算手法について概説する。 共同分布を利用するか、あるいは明示的な可能性を持つ(事前訓練された)境界分布に依存する重要な手法を強調します。
  論文  参考訳（メタデータ） (2024-09-15T07:48:40Z)
• New algorithms for sampling and diffusion models [0.0]
  本稿では,未知分布を持つ拡散生成モデルのための新しいサンプリング手法と新しいアルゴリズムを提案する。 我々のアプローチは、拡散生成モデルにおいて広く採用されている逆拡散過程の概念に着想を得たものである。
  論文  参考訳（メタデータ） (2024-06-14T02:30:04Z)
• A Diffusion Model Framework for Unsupervised Neural Combinatorial Optimization [7.378582040635655]
  現在のディープラーニングアプローチは、正確なサンプル確率を生み出す生成モデルに依存している。 この研究は、この制限を解除し、高度に表現力のある潜在変数モデルを採用する可能性を開放する手法を導入する。 我々は,データフリーなコンビネーション最適化におけるアプローチを実験的に検証し,幅広いベンチマーク問題に対して新しい最先端の手法を実現することを実証した。
  論文  参考訳（メタデータ） (2024-06-03T17:55:02Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Score-based Source Separation with Applications to Digital Communication Signals [72.6570125649502]
  拡散モデルを用いた重畳音源の分離手法を提案する。 高周波(RF)システムへの応用によって、我々は、基礎となる離散的な性質を持つ情報源に興味を持っている。 提案手法は,最近提案されたスコア蒸留サンプリング方式のマルチソース拡張と見なすことができる。
  論文  参考訳（メタデータ） (2023-06-26T04:12:40Z)
• Structured Voronoi Sampling [61.629198273926676]
  本稿では,勾配に基づく手法を用いた言語モデルから抽出する原理的アプローチの構築に向けて重要な一歩を踏み出す。 我々は勾配に基づく構造ヴォロノイサンプリング(Structured Voronoi Smpling, SVS)と呼ぶ。 制御された生成タスクでは、SVSは流動的で多様なサンプルを生成できるが、制御対象は他の方法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2023-06-05T17:32:35Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。