論文の概要: Diffusion-based supervised learning of generative models for efficient sampling of multimodal distributions

• arxiv url: http://arxiv.org/abs/2505.07825v1
• Date: Sun, 20 Apr 2025 21:06:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-18 22:55:23.171992
• Title: Diffusion-based supervised learning of generative models for efficient sampling of multimodal distributions
• Title（参考訳）: 拡散に基づく多モード分布の効率的なサンプリングのための生成モデルの教師付き学習
• Authors: Hoang Tran, Zezhong Zhang, Feng Bao, Dan Lu, Guannan Zhang,
• Abstract要約: ベイズ推定のための高次元多モード確率分布の効率的なサンプリングのためのハイブリッド生成モデルを提案する。 提案手法は,最大100次元のモード形状の異なるマルチモーダル分布を効果的に扱えることを示す。
• 参考スコア（独自算出の注目度）: 16.155593250605254
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a hybrid generative model for efficient sampling of high-dimensional, multimodal probability distributions for Bayesian inference. Traditional Monte Carlo methods, such as the Metropolis-Hastings and Langevin Monte Carlo sampling methods, are effective for sampling from single-mode distributions in high-dimensional spaces. However, these methods struggle to produce samples with the correct proportions for each mode in multimodal distributions, especially for distributions with well separated modes. To address the challenges posed by multimodality, we adopt a divide-and-conquer strategy. We start by minimizing the energy function with initial guesses uniformly distributed within the prior domain to identify all the modes of the energy function. Then, we train a classifier to segment the domain corresponding to each mode. After the domain decomposition, we train a diffusion-model-assisted generative model for each identified mode within its support. Once each mode is characterized, we employ bridge sampling to estimate the normalizing constant, allowing us to directly adjust the ratios between the modes. Our numerical examples demonstrate that the proposed framework can effectively handle multimodal distributions with varying mode shapes in up to 100 dimensions. An application to Bayesian inverse problem for partial differential equations is also provided.
• Abstract（参考訳）: ベイズ推定のための高次元多モード確率分布の効率的なサンプリングのためのハイブリッド生成モデルを提案する。 メトロポリス・ハスティングス (Metropolis-Hastings) やランゲヴィン・モンテ・カルロ (Langevin Monte Carlo) のような伝統的なモンテカルロ法は、高次元空間における単一モード分布からのサンプリングに有効である。 しかし、これらの手法は多モード分布における各モードに対して適切な比率のサンプルを生成するのに苦慮している。 マルチモーダリティ(multimodality)がもたらす課題に対処するため,我々は分割・分散戦略を採用する。 まず、エネルギー関数のすべてのモードを特定するために、初期推定を前領域内に均一に分散してエネルギー関数を最小化することから始める。 次に、各モードに対応する領域を分割するように分類器を訓練する。 ドメイン分割後、我々は拡散モデル支援生成モデルを訓練する。 各モードを特徴付けると、橋梁サンプリングを用いて正規化定数を推定し、モード間の比を直接調整する。 提案手法は,最大100次元のモード形状の異なるマルチモーダル分布を効果的に扱えることを示す。 偏微分方程式に対するベイズ逆問題への応用も提供される。

関連論文リスト

• Entropy-Guided Sampling of Flat Modes in Discrete Spaces [9.099589602551573]
  既存のサンプリングアルゴリズムは、しばしばモードボリュームを見落とし、フラットモードを効果的に捉えるのに苦労する。 本研究では, 局所エントロピーを連続的補助変数によるサンプリングプロセスに組み込んだEmphEntropic Discrete Langevin Proposal (EDLP)を提案する。 局所対数対数離散分布におけるEDLPの非漸近収束保証を提供する。
  論文  参考訳（メタデータ） (2025-05-05T00:12:34Z)
• Accelerated Diffusion Models via Speculative Sampling [89.43940130493233]
  投機的サンプリングは、大規模言語モデルにおける推論を加速する一般的な手法である。 我々は投機的サンプリングを拡散モデルに拡張し、連続したベクトル値のマルコフ連鎖を介してサンプルを生成する。 本稿では,ドラフトモデルをトレーニングする必要のない,シンプルで効果的なアプローチを含む,さまざまなドラフト戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-09T16:50:16Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Annealing Flow Generative Model Towards Sampling High-Dimensional and Multi-Modal Distributions [6.992239210938067]
  Annealing Flowは、高次元およびマルチモーダル分布からサンプリングするために設計された、連続正規化フローベースのアプローチである。 AFは有効かつバランスの取れたモード探索を保証し、サンプルサイズと寸法の線形複雑さを達成し、非効率な混合時間を回避している。
  論文  参考訳（メタデータ） (2024-09-30T17:48:22Z)
• Unite and Conquer: Plug & Play Multi-Modal Synthesis using Diffusion Models [54.1843419649895]
  拡散確率モデル(DDPM)に基づく解を提案する。 他の生成モデルよりも拡散モデルを選択する動機は、拡散モデルの柔軟な内部構造に由来する。 提案手法は,複数のサブタスクで訓練された複数の拡散モデルを統一し,組み合わせたタスクを克服する。
  論文  参考訳（メタデータ） (2022-12-01T18:59:55Z)
• Sampling from high-dimensional, multimodal distributions using automatically tuned, tempered Hamiltonian Monte Carlo [0.0]
  ハミルトニアン・モンテカルロ (HMC) は確率密度が比例的に知られている高次元対象分布のサンプリングに広く用いられている。 伝統的テンパリング法は、特に高次元においてチューニングが困難である。 本研究では,高次元の強いマルチモーダル分布からの効率的なサンプリングを可能にするため,テンパリング戦略をハミルトンモンテカルロと組み合わせる手法を提案する。
  論文  参考訳（メタデータ） (2021-11-12T18:48:36Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
  深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
  論文  参考訳（メタデータ） (2020-09-24T19:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。