Fugu-MT 論文翻訳(概要): Fast Convergence for High-Order ODE Solvers in Diffusion Probabilistic Models

論文の概要: Fast Convergence for High-Order ODE Solvers in Diffusion Probabilistic Models

arxiv url: http://arxiv.org/abs/2506.13061v2
Date: Wed, 18 Jun 2025 14:18:09 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-19 13:10:45.362278
Title: Fast Convergence for High-Order ODE Solvers in Diffusion Probabilistic Models
Title（参考訳）: 拡散確率モデルにおける高次ODE解の高速収束
Authors: Daniel Zhengyu Huang, Jiaoyang Huang, Zhengjiang Lin,
Abstract要約: 拡散確率モデルは、データをノイズに変換するノイズ注入プロセスの逆転を学ぶことでサンプルを生成する。この逆過程を決定論的確率フロー常微分方程式(ODE)として再構成することで、高次解法を用いた効率的なサンプリングが可能になる。スコア関数は一般的にニューラルネットワークによって近似されるため、全体のサンプリング精度を理解する上では、その正則性、近似誤差、数値積分誤差の相互作用を分析することが重要である。
参考スコア（独自算出の注目度）: 5.939858158928473
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Diffusion probabilistic models generate samples by learning to reverse a noise-injection process that transforms data into noise. Reformulating this reverse process as a deterministic probability flow ordinary differential equation (ODE) enables efficient sampling using high-order solvers, often requiring only $\mathcal{O}(10)$ steps. Since the score function is typically approximated by a neural network, analyzing the interaction between its regularity, approximation error, and numerical integration error is key to understanding the overall sampling accuracy. In this work, we continue our analysis of the convergence properties of the deterministic sampling methods derived from probability flow ODEs [25], focusing on $p$-th order (exponential) Runge-Kutta schemes for any integer $p \geq 1$. Under the assumption that the first and second derivatives of the approximate score function are bounded, we develop $p$-th order (exponential) Runge-Kutta schemes and demonstrate that the total variation distance between the target distribution and the generated data distribution can be bounded above by \begin{align*} O\bigl(d^{\frac{7}{4}}\varepsilon_{\text{score}}^{\frac{1}{2}} +d(dH_{\max})^p\bigr), \end{align*} where $\varepsilon^2_{\text{score}}$ denotes the $L^2$ error in the score function approximation, $d$ is the data dimension and $H_{\max}$ represents the maximum step size used in the solver. We numerically verify the regularity assumption on benchmark datasets, confirming that the first and second derivatives of the approximate score function remain bounded in practice. Our theoretical guarantees hold for general forward processes with arbitrary variance schedules.
Abstract（参考訳）: 拡散確率モデルは、データをノイズに変換するノイズ注入プロセスの逆転を学ぶことでサンプルを生成する。この逆過程を決定論的確率フロー常微分方程式(ODE)として再構成することで、高次解法を用いる効率的なサンプリングが可能となり、しばしば$\mathcal{O}(10)$のステップしか必要としない。スコア関数は一般的にニューラルネットワークによって近似されるため、全体のサンプリング精度を理解する上では、その正則性、近似誤差、数値積分誤差の相互作用を分析することが重要である。本研究では,確率フローODEs[25]から導かれる決定論的サンプリング手法の収束特性の解析を継続し,任意の整数$p \geq 1$に対する$p$-次(指数)ルンゲ・クッタスキームに着目した。近似スコア関数の第1次および第2次微分が有界であるという仮定の下で、ルンゲ・クッタスキーム(英語版)(Runge-Kutta schemes)を開発し、対象分布と生成されたデータ分布の間の全変動距離を、上述の \begin{align*} O\bigl(d^{\frac{7}{4}}\varepsilon_{\text{score}}^{\frac{1}{2}} +d(dH_{\max})^p\bigr), \end{align*} ここで、$\varepsilon^2_{\text{score}}$はスコア関数近似における$L^2$エラーを表す。ベンチマークデータセット上での正則性仮定を数値的に検証し、近似スコア関数の第1および第2微分が実際に有界であることを確認する。我々の理論的保証は、任意の分散スケジュールを持つ一般的なフォワードプロセスに対して成り立つ。

論文の概要: Fast Convergence for High-Order ODE Solvers in Diffusion Probabilistic Models

関連論文リスト