論文の概要: The Effect of Stochasticity in Score-Based Diffusion Sampling: a KL Divergence Analysis
- arxiv url: http://arxiv.org/abs/2506.11378v1
- Date: Fri, 13 Jun 2025 01:01:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-16 17:50:49.61605
- Title: The Effect of Stochasticity in Score-Based Diffusion Sampling: a KL Divergence Analysis
- Title（参考訳）: スコアベース拡散サンプリングにおける確率性の影響:KL分散解析
- Authors: Bernardo P. Schaeffer, Ricardo M. S. Rosa, Glauco Valle,
- Abstract要約: 本研究は,KL(Kulback-Leibler)の発散における生成過程への影響について検討する。
この結果は、加算雑音とリプシッツ連続スコア関数を持つ一般前方SDEに適用できる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sampling in score-based diffusion models can be performed by solving either a probability flow ODE or a reverse-time stochastic differential equation (SDE) parameterized by an arbitrary stochasticity parameter. In this work, we study the effect of stochasticity on the generation process through bounds on the Kullback-Leibler (KL) divergence and complement the analysis with numerical and analytical examples. Our results apply to general forward SDEs with additive noise and Lipschitz-continuous score functions, and quantify how errors from the prior distribution and score approximation propagate under different choices of the stochasticity parameter. The theoretical bounds are derived using log-Sobolev inequalities for the marginals of the forward process, which enable a more effective control of the KL divergence decay along sampling. For exact score functions, we find that stochasticity acts as an error-correcting mechanism, decreasing KL divergence along the sampling trajectory. For an approximate score function, there is a trade-off between error correction and score error amplification, so that stochasticity can either improve or worsen the performance, depending on the structure of the score error. Numerical experiments on simple datasets and a fully analytical example are included to illustrate and enlighten the theoretical results.
- Abstract（参考訳）: スコアベース拡散モデルのサンプリングは、任意の確率パラメータでパラメータ化された確率フローODEまたは逆時間確率微分方程式(SDE)を解くことで行うことができる。
本研究では,KL(Kulback-Leibler)の発散に及ぼす確率性の影響について検討し,数値解析および解析的な例で解析を補完する。
本研究は,加法雑音とリプシッツ連続スコア関数を持つ一般前方SDEに適用し,確率パラメータの異なる選択の下で,先行分布からの誤差とスコアの近似がどのように伝播するかを定量化する。
理論的境界は、フォワード過程の辺縁に対する対数ソボレフの不等式を用いて導出され、サンプリングに沿ってKLの発散減衰をより効果的に制御することができる。
正確なスコア関数の場合、確率性は誤差補正機構として機能し、サンプリング軌道に沿ったKLの発散を減少させる。
近似スコア関数では、誤差補正とスコア誤差増幅のトレードオフがあり、スコア誤差の構造に応じて確率性は性能を向上または悪化させることができる。
単純なデータセットに関する数値実験と完全に分析的な例は、理論的な結果を説明および啓蒙するために含まれる。
関連論文リスト
- A Simple Analysis of Discretization Error in Diffusion Models [3.6042771517920724]
拡散モデルは微分方程式(SDE)の離散化として定式化され、最先端の生成性能を達成する。
本稿では、分散保存SDEの保存丸山離散化を簡易に解析するための理論的枠組みを提案する。
我々の研究は拡散に基づく生成モデルにおける理論的厳密さと実用的効率を橋渡しする。
論文 参考訳（メタデータ） (2025-06-10T01:46:42Z) - Understanding Diffusion Models by Feynman's Path Integral [2.4373900721120285]
ファインマン積分経路を用いた拡散モデルの新しい定式化を導入する。
この定式化はスコアベース生成モデルの包括的記述を提供する。
また、後方微分方程式と損失関数の導出を示す。
論文 参考訳（メタデータ） (2024-03-17T16:24:29Z) - Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。
画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
論文 参考訳（メタデータ） (2023-11-02T02:05:38Z) - Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文 参考訳（メタデータ） (2023-08-28T23:51:33Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳（メタデータ） (2023-04-10T17:54:38Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - A Unified View of Stochastic Hamiltonian Sampling [18.300078015845262]
この研究は、後続サンプリングのためのハミルトン微分方程式(SDE)の理論的性質を再考する。
数値SDEシミュレーションから生じる2種類の誤差について検討し, 離散化誤差と雑音勾配推定による誤差について検討した。
論文 参考訳（メタデータ） (2021-06-30T16:50:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。