論文の概要: Polynomial Speedup in Diffusion Models with the Multilevel Euler-Maruyama Method

• arxiv url: http://arxiv.org/abs/2603.24594v1
• Date: Wed, 25 Mar 2026 17:59:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:11.437165
• Title: Polynomial Speedup in Diffusion Models with the Multilevel Euler-Maruyama Method
• Title（参考訳）: 多レベルオイラー丸山法による拡散モデルにおける多項式高速化
• Authors: Arthur Jacot,
• Abstract要約: 本稿では,SDEとODEのマルチレベルEuler-Maruyama法(ML-EM)の計算解について,精度と計算コストを向上したドリフト$f1,dots,fk$を用いて紹介する。 拡散モデルの文脈では、異なるレベルの$f1,dots,fk$は、増大する大きさのUNetsをトレーニングすることで得られ、ML-EMは最大のUNetの単一評価と同等のサンプリングを行うことができる。
• 参考スコア（独自算出の注目度）: 21.932547699313687
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We introduce the Multilevel Euler-Maruyama (ML-EM) method compute solutions of SDEs and ODEs using a range of approximators $f^1,\dots,f^k$ to the drift $f$ with increasing accuracy and computational cost, only requiring a few evaluations of the most accurate $f^k$ and many evaluations of the less costly $f^1,\dots,f^{k-1}$. If the drift lies in the so-called Harder than Monte Carlo (HTMC) regime, i.e. it requires $ε^{-γ}$ compute to be $ε$-approximated for some $γ>2$, then ML-EM $ε$-approximates the solution of the SDE with $ε^{-γ}$ compute, improving over the traditional EM rate of $ε^{-γ-1}$. In other terms it allows us to solve the SDE at the same cost as a single evaluation of the drift. In the context of diffusion models, the different levels $f^{1},\dots,f^{k}$ are obtained by training UNets of increasing sizes, and ML-EM allows us to perform sampling with the equivalent of a single evaluation of the largest UNet. Our numerical experiments confirm our theory: we obtain up to fourfold speedups for image generation on the CelebA dataset downscaled to 64x64, where we measure a $γ\approx2.5$. Given that this is a polynomial speedup, we expect even stronger speedups in practical applications which involve orders of magnitude larger networks.
• Abstract（参考訳）: 我々は,SDE と ODE のマルチレベルオイラー・マルヤマ法 (ML-EM) 計算解を,精度と計算コストが増大したドリフト$f$に対して,f^1,\dots,f^k$ を用いて導入し,最も精度の高い$f^k$ のいくつかの評価と,より安価な$f^1,\dots,f^{k-1}$ の多くの評価を行う。 もしこのドリフトがモンテカルロ (HTMC) 体制のいわゆるハーダー内にあるなら、ある$γ>2$に対して$ε$-approximated となるために$ε^{-γ}$計算が必要であり、ML-EM $ε$-approximates the solution with $ε^{-γ}$計算により、従来の EM レート$ε^{-γ-1}$よりも改善される。 言い換えれば、単一のドリフトの評価と同じコストでSDEを解くことができる。 拡散モデルの文脈では、異なるレベルの$f^{1},\dots,f^{k}$は、増大する大きさのUNetsをトレーニングすることで得られる。 我々はCelebAデータセットを64x64にダウンスケールし、γ\approx2.5$を測るために最大4倍のスピードアップを得る。 これは多項式の高速化であり、さらに大きなネットワークのオーダーを含む実用的なアプリケーションではより強力なスピードアップが期待できる。

関連論文リスト

• Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction [57.93371273485736]
  我々は、すべての労働者が同一の分布にアクセスする均質な(すなわちd.d.)場合であっても、すべての労働者が非バイアス付き境界 LDeltaepsilon2,$$$$$ のポリ対数的により良いポリ対数を求める集中型分散学習環境を考える。
  論文  参考訳（メタデータ） (2025-06-30T13:27:39Z)
• Global Optimization with A Power-Transformed Objective and Gaussian Smoothing [4.275224221939364]
  我々の手法は、$f$の大域的最適点の$delta$-neighborhoodの解に収束することを示す。 収束率は$O(d2sigma4varepsilon-2)$であり、標準および単一ループホモトピー法よりも高速である。
  論文  参考訳（メタデータ） (2024-12-06T17:33:43Z)
• Efficient Sampling of Stochastic Differential Equations with Positive Semi-Definite Models [91.22420505636006]
  本稿では, ドリフト関数と拡散行列を考慮し, 微分方程式からの効率的なサンプリング問題を扱う。 1/varepsilonは$m2d log (1/varepsilon)$である。 以上の結果から,真の解がより滑らかになるにつれて,どのような凸性も必要とせず,次元の呪いを回避できることが示唆された。
  論文  参考訳（メタデータ） (2023-03-30T02:50:49Z)
• Near Sample-Optimal Reduction-based Policy Learning for Average Reward MDP [58.13930707612128]
  この研究は、平均報酬マルコフ決定過程(AMDP)における$varepsilon$-Optimal Policyを得る際のサンプルの複雑さを考察する。 我々は、状態-作用対当たりの$widetilde O(H varepsilon-3 ln frac1delta)$サンプルを証明し、$H := sp(h*)$は任意の最適ポリシーのバイアスのスパンであり、$varepsilon$は精度、$delta$は失敗確率である。
  論文  参考訳（メタデータ） (2022-12-01T15:57:58Z)
• Penalized Overdamped and Underdamped Langevin Monte Carlo Algorithms for Constrained Sampling [17.832449046193933]
  目的が目標分布である$pi(x)prop ef(x)$から$x$が制約されたときにサンプリングする制約付きサンプリング問題を考える。 ペナルティ法によって動機付けられた制約付き問題を,制約違反に対するペナルティ関数を導入することにより,非制約サンプリング問題に変換する。 PSGLD と PSGULMC の場合、$tildemathcalO(d/varepsilon18)$ が強凸で滑らかであるとき、$tildemathcalO(d/varepsilon) を得る。
  論文  参考訳（メタデータ） (2022-11-29T18:43:22Z)
• Sharper Convergence Guarantees for Asynchronous SGD for Distributed and Federated Learning [77.22019100456595]
  通信周波数の異なる分散計算作業者のトレーニングアルゴリズムを示す。 本研究では,より厳密な収束率を$mathcalO!!(sigma2-2_avg!)とする。 また,不均一性の項は,作業者の平均遅延によっても影響されることを示した。
  論文  参考訳（メタデータ） (2022-06-16T17:10:57Z)
• TURF: A Two-factor, Universal, Robust, Fast Distribution Learning Algorithm [64.13217062232874]
  最も強力で成功したモダリティの1つは、全ての分布を$ell$距離に近似し、基本的に最も近い$t$-piece次数-$d_$の少なくとも1倍大きい。 本稿では,この数値をほぼ最適に推定する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-15T03:49:28Z)
• Convergence of Sparse Variational Inference in Gaussian Processes Regression [29.636483122130027]
  計算コストが$mathcalO(log N)2D(log N)2)$の手法を推論に利用できることを示す。
  論文  参考訳（メタデータ） (2020-08-01T19:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。