論文の概要: Stochastic Runge-Kutta Methods: Provable Acceleration of Diffusion Models

• arxiv url: http://arxiv.org/abs/2410.04760v1
• Date: Mon, 7 Oct 2024 05:34:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 02:07:46.528192
• Title: Stochastic Runge-Kutta Methods: Provable Acceleration of Diffusion Models
• Title（参考訳）: 確率的ルンゲ・クッタ法:拡散モデルの確率的加速
• Authors: Yuchen Wu, Yuxin Chen, Yuting Wei,
• Abstract要約: 我々は,KL Runge-Kutta法に基づいて,SDEスタイルの拡散サンプリングのための学習自由加速アルゴリズムを提案し,解析する。 提案したサンプルは、$widetilde O(d3/2 / varepsilon)$ score function Evaluationsを用いて、確実に$varepsilon2$エラー(ばらつきで測定)を得る。
• 参考スコア（独自算出の注目度）: 21.961189407928853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models play a pivotal role in contemporary generative modeling, claiming state-of-the-art performance across various domains. Despite their superior sample quality, mainstream diffusion-based stochastic samplers like DDPM often require a large number of score function evaluations, incurring considerably higher computational cost compared to single-step generators like generative adversarial networks. While several acceleration methods have been proposed in practice, the theoretical foundations for accelerating diffusion models remain underexplored. In this paper, we propose and analyze a training-free acceleration algorithm for SDE-style diffusion samplers, based on the stochastic Runge-Kutta method. The proposed sampler provably attains $\varepsilon^2$ error -- measured in KL divergence -- using $\widetilde O(d^{3/2} / \varepsilon)$ score function evaluations (for sufficiently small $\varepsilon$), strengthening the state-of-the-art guarantees $\widetilde O(d^{3} / \varepsilon)$ in terms of dimensional dependency. Numerical experiments validate the efficiency of the proposed method.
• Abstract（参考訳）: 拡散モデルは同時代の生成モデルにおいて重要な役割を担い、様々な領域で最先端のパフォーマンスを主張する。 DDPMのような主流拡散に基づく確率的サンプリング器は、優れたサンプル品質にもかかわらず、多くのスコア関数評価を必要とすることが多く、生成逆数ネットワークのような単一ステップのジェネレータに比べて計算コストがかなり高い。 実際にいくつかの加速法が提案されているが、拡散モデルの加速に関する理論的基礎は未解明のままである。 本稿では,確率的ルンゲ・クッタ法に基づいて,SDE型拡散サンプリング器の学習自由加速アルゴリズムを提案し,解析する。 提案したサンプリング器は、$\widetilde O(d^{3/2} / \varepsilon)$スコア関数の評価(十分に小さな$\varepsilon$の場合)を使用して、KLの発散で測定された$\varepsilon^2$エラーを確実に達成し、次元依存性の観点から$\widetilde O(d^{3} / \varepsilon)$の保証を保証します。 提案手法の有効性を数値実験により検証した。

関連論文リスト

• Provable Acceleration for Diffusion Models under Minimal Assumptions [8.15094483029656]
  そこで本研究では,スコアベースサンプルの学習自由化手法を提案する。 最小限の仮定で、我々のスキームは$widetildeO(d5/4/sqrtvarepsilon)$ iterationsの総変量で$varepsilon$-accuracyを達成する。
  論文  参考訳（メタデータ） (2024-10-30T17:59:06Z)
• Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
  本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。 我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
  論文  参考訳（メタデータ） (2024-08-25T10:28:31Z)
• Accelerating Convergence of Score-Based Diffusion Models, Provably [44.11766377798812]
  スコアベース拡散モデルはしばしばサンプリングフェーズで必要とされる広範な機能評価のためにサンプリング速度の低下に悩まされる。 我々は、一般的な決定論的(DDIM)および(DDPM)サンプリングを高速化する、新しいトレーニングフリーアルゴリズムを設計する。 我々の理論は、$ell$-accurate score estimatesを許容し、ターゲット分布に対数凹凸や滑らかさを必要としない。
  論文  参考訳（メタデータ） (2024-03-06T17:02:39Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• SA-Solver: Stochastic Adams Solver for Fast Sampling of Diffusion Models [66.67616086310662]
  拡散確率モデル(DPM)は生成タスクでかなりの成功を収めた。 DPM からのサンプリングは、時間を要する拡散 SDE や ODE の解法と等価であるため、改良された微分方程式解法に基づく多数の高速サンプリング手法が提案されている。 拡散SDEを解くための効率の良いAdams法であるSA-of-rを提案する。
  論文  参考訳（メタデータ） (2023-09-10T12:44:54Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Towards Controllable Diffusion Models via Reward-Guided Exploration [15.857464051475294]
  強化学習(RL)による拡散モデルの学習段階を導く新しい枠組みを提案する。 RLは、政策そのものではなく、指数スケールの報酬に比例したペイオフ分布からのサンプルによる政策勾配を計算することができる。 3次元形状と分子生成タスクの実験は、既存の条件拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-04-14T13:51:26Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。