論文の概要: End-To-End Learning of Gaussian Mixture Priors for Diffusion Sampler

• arxiv url: http://arxiv.org/abs/2503.00524v1
• Date: Sat, 01 Mar 2025 14:58:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:26:49.289806
• Title: End-To-End Learning of Gaussian Mixture Priors for Diffusion Sampler
• Title（参考訳）: 拡散サンプリング用ガウス混合器のエンドツーエンド学習
• Authors: Denis Blessing, Xiaogang Jia, Gerhard Neumann,
• Abstract要約: 学習可能な混合前駆体は、探索の制御を改善し、目標支援への適応性を高め、モード崩壊に対抗するために増強する。 実験結果から,様々な実環境および総合的なベンチマーク問題に対して,大幅な性能向上が得られた。
• 参考スコア（独自算出の注目度）: 15.372235873766812
• License:
• Abstract: Diffusion models optimized via variational inference (VI) have emerged as a promising tool for generating samples from unnormalized target densities. These models create samples by simulating a stochastic differential equation, starting from a simple, tractable prior, typically a Gaussian distribution. However, when the support of this prior differs greatly from that of the target distribution, diffusion models often struggle to explore effectively or suffer from large discretization errors. Moreover, learning the prior distribution can lead to mode-collapse, exacerbated by the mode-seeking nature of reverse Kullback-Leibler divergence commonly used in VI. To address these challenges, we propose end-to-end learnable Gaussian mixture priors (GMPs). GMPs offer improved control over exploration, adaptability to target support, and increased expressiveness to counteract mode collapse. We further leverage the structure of mixture models by proposing a strategy to iteratively refine the model by adding mixture components during training. Our experimental results demonstrate significant performance improvements across a diverse range of real-world and synthetic benchmark problems when using GMPs without requiring additional target evaluations.
• Abstract（参考訳）: 変分推論(VI)により最適化された拡散モデルは、正規化されていないターゲット密度からサンプルを生成するための有望なツールとして登場した。 これらのモデルは確率微分方程式をシミュレートしてサンプルを作成する。 しかし、この事前の支持が対象の分布と大きく異なる場合、拡散モデルは効果的に探索することや大きな離散化誤差に悩まされることがしばしばある。 さらに、先行分布の学習は、VI でよく用いられる逆カルバック・リーブラー分岐のモード探索特性により、モード崩壊につながる可能性がある。 これらの課題に対処するため、我々はエンドツーエンドの学習可能なガウス混合先(GMP)を提案する。 GMPは、探索の制御の改善、目標支援への適応性、モード崩壊に対抗するための表現性の向上を提供する。 学習中に混合成分を追加することでモデルを反復的に洗練する戦略を提案することで、混合モデルの構造をさらに活用する。 実験の結果,GMPを用いた場合,目標評価を必要とせず,様々な実環境および総合的なベンチマーク問題に対して,大幅な性能向上が得られた。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• Boosting Diffusion Models with Moving Average Sampling in Frequency Domain [101.43824674873508]
  拡散モデルは、現在のサンプルに頼って次のサンプルをノイズ化し、おそらく不安定化を引き起こす。 本稿では,反復的復調過程をモデル最適化として再解釈し,移動平均機構を利用して全ての先行サンプルをアンサンブルする。 周波数領域における平均サンプリング(MASF)の動作」という完全なアプローチを命名する。
  論文  参考訳（メタデータ） (2024-03-26T16:57:55Z)
• Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
  本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。 本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-29T04:15:58Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Efficient Training of Energy-Based Models Using Jarzynski Equality [13.636994997309307]
  エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にインスパイアされた生成モデルである。 モデルパラメータに対する勾配の計算には、モデルの分布をサンプリングする必要がある。 ここでは、ジャジンスキーの等式に基づく非平衡熱力学の結果を用いて、この計算を効率的に行う方法を示す。
  論文  参考訳（メタデータ） (2023-05-30T21:07:52Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
  深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
  論文  参考訳（メタデータ） (2020-09-24T19:34:37Z)
• Gaussianization Flows [113.79542218282282]
  そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。 この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
  論文  参考訳（メタデータ） (2020-03-04T08:15:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。