論文の概要: A Unified Kullback--Leibler Divergence Analysis of Generative Diffusion Models via Entropy Production Rate
- arxiv url: http://arxiv.org/abs/2608.02406v1
- Date: Mon, 03 Aug 2026 15:49:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.683189
- Title: A Unified Kullback--Leibler Divergence Analysis of Generative Diffusion Models via Entropy Production Rate
- Title（参考訳）: エントロピー生成速度による生成拡散モデルの統一Kulback-Leiblerダイバージェンス解析
- Abstract要約: 本稿では,前-逆拡散過程ペアのエントロピー生成率に基づく生成モデルの誤り解析のための統一的なフレームワークを提案する。
経路空間ではなく境界分布のレベルでのエントロピー生成を解析することにより,Euler-Maruyama サンプリング器の鋭い収束率を$mathcalO(h2)$とする。
- 参考スコア（独自算出の注目度）: 4.625787677472786
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a unified framework for the error analysis of generative models based on the entropy production rate of the forward-reverse diffusion process pair. For a pair of continuity equation flows, the rate admits a closed velocity form identity whose time integral decomposes the terminal Kullback--Leibler (KL) divergence into the sum of an initialization error, a score approximation error, and a time-discretization error. By analyzing the entropy production at the level of marginal distributions, rather than in path space, our framework yields a sharp convergence rate of $\mathcal{O}(h^2)$ for the Euler-Maruyama sampler, where $h$ is the step size. This improves upon the $\mathcal{O}(h)$ rates typically obtained from Girsanov's path-space analyses. Furthermore, our framework unifies the analysis of score-based SDEs, probability-flow ODEs, and stochastic interpolants by varying diffusion coefficients within a single inequality, revealing the trade-off between deterministic and stochastic sampling. Numerical experiments confirm the predicted scaling with step size and terminal time.
- Abstract（参考訳）: 本稿では,前-逆拡散過程ペアのエントロピー生成率に基づく生成モデルの誤り解析のための統一的なフレームワークを提案する。
一対の連続方程式フローに対して、このレートは、時間積分が端末KLを初期化誤差、スコア近似誤差、時間分散誤差の和に分解する閉速度形式IDを許容する。
経路空間ではなく境界分布のレベルでのエントロピー生成を解析することにより、Euler-Maruyama 標本化器の急激収束速度が$\mathcal{O}(h^2)$となり、そこでは$h$がステップサイズとなる。
これにより、Girsanov のパス空間解析から得られる $\mathcal{O}(h)$ レートが改善される。
さらに,1つの不等式内での拡散係数の変化によるスコアベースSDE,確率フローODE,確率補間を統一し,決定的サンプリングと確率的サンプリングのトレードオフを明らかにする。
数値実験により、予測スケーリングはステップサイズと終端時間で確認される。
関連論文リスト
- A Quantitative Approximation Framework for Flow Distillation in Diffusion Models [9.704954388992892]
局所近似誤差は低雑音マルチモーダル状態において強く増幅することができる。
深部残留成分は, 長距離輸送を効率的に近似することを示した。
実験は、一様格子と比較して8セグメントで最大51.9%の予測とエンドツーエンドの相対MSI削減をサポートする。
論文 参考訳（メタデータ） (2026-06-02T16:00:43Z) - From Scores to Gibbs Correctors: Accelerating Uniform-Rate Discrete Diffusion Models [58.02657021435213]
我々は、Gibs-Accelerated Discrete Diffusion (GADD)と呼ばれる離散拡散モデルのための新しいGibsベースの修正器を提案する。
我々はGADDが$mathcalO(mathrmpolylog (varepsilon-1)$の総合的なサンプリング複雑性を達成し、均一レートの離散拡散モデルに対する拡散に基づくサンプリング者にとって最初のレートとなることを示す。
論文 参考訳（メタデータ） (2026-05-26T17:52:28Z) - Variational Optimality of Föllmer Processes in Generative Diffusions [20.583125441867434]
有限時間地平線上の所定の目標分布に点質量を輸送する生成拡散を解析する。
拡散係数は, 時間空間分布を変化させることなく, エンファテリオリを調整できることが示唆された。
論文 参考訳（メタデータ） (2026-02-11T16:15:19Z) - An Elementary Approach to Scheduling in Generative Diffusion Models [55.171367482496755]
生成拡散モデルにおけるノイズスケジューリングと時間離散化の影響を特徴付けるための基礎的手法を開発した。
異なるデータセットと事前訓練されたモデルにわたる実験により、我々のアプローチによって選択された時間離散化戦略が、ベースラインとサーチベースの戦略を一貫して上回ることを示した。
論文 参考訳（メタデータ） (2026-01-20T05:06:26Z) - Convergence, design and training of continuous-time dropout as a random batch method [0.0]
ランダムバッチ方式のレンズを用いた連続時間モデルにおけるドロップアウト正規化について検討する。
我々は、長さ$h$の時間間隔でニューロンのバッチをサンプリングすることによって、ドロップアウトを模倣する、偏りのない、よく考えられた推定器を構築した。
次に、単層ニューラルネットワークを専門とし、分類とフローマッチングの理論を検証する。
論文 参考訳（メタデータ） (2025-10-15T04:19:01Z) - The Effect of Stochasticity in Score-Based Diffusion Sampling: a KL Divergence Analysis [0.0]
我々はKL(Kulback-Leibler)の生成過程に及ぼすばらつきの影響について検討する。
本研究の主な成果は、加算雑音とリプシッツ連続スコア関数を持つ線形前方SDEに適用する。
論文 参考訳（メタデータ） (2025-06-13T01:01:07Z) - Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。
本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。
我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
論文 参考訳（メタデータ） (2024-10-03T09:07:13Z) - Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。
我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
論文 参考訳（メタデータ） (2024-08-25T10:28:31Z) - Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文 参考訳（メタデータ） (2023-08-28T23:51:33Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。