論文の概要: Multi-Step Consistency Models: Fast Generation with Theoretical Guarantees

• arxiv url: http://arxiv.org/abs/2505.01049v1
• Date: Fri, 02 May 2025 06:50:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 17:21:19.938313
• Title: Multi-Step Consistency Models: Fast Generation with Theoretical Guarantees
• Title（参考訳）: マルチステップ一貫性モデル:理論的保証付き高速生成
• Authors: Nishant Jain, Xunpeng Huang, Yian Ma, Tong Zhang,
• Abstract要約: 一貫性モデルは、非常に少数のステップで高品質なサンプルを生成することによって、生成を著しく加速する。 与えられたタイミングで入力を逆軌道に沿った任意のタイムスタンプにマッピングできる一貫性モデルが与えられると、KLの次数$O(varepsilon2)が得られる。 また、このような一貫性モデルの推定のための理論的解析を行い、小さな離散化ステップを用いて正確な学習が可能であることを結論づける。
• 参考スコア（独自算出の注目度）: 15.366598179769918
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Consistency models have recently emerged as a compelling alternative to traditional SDE based diffusion models, offering a significant acceleration in generation by producing high quality samples in very few steps. Despite their empirical success, a proper theoretic justification for their speed up is still lacking. In this work, we provide the analysis which bridges this gap, showing that given a consistency model which can map the input at a given time to arbitrary timestamps along the reverse trajectory, one can achieve KL divergence of order $ O(\varepsilon^2) $ using only $ O\left(\log\left(\frac{d}{\varepsilon}\right)\right) $ iterations with constant step size, where d is the data dimension. Additionally, under minimal assumptions on the data distribution an increasingly common setting in recent diffusion model analyses we show that a similar KL convergence guarantee can be obtained, with the number of steps scaling as $ O\left(d \log\left(\frac{d}{\varepsilon}\right)\right) $. Going further, we also provide a theoretical analysis for estimation of such consistency models, concluding that accurate learning is feasible using small discretization steps, both in smooth and non smooth settings. Notably, our results for the non smooth case yield best in class convergence rates compared to existing SDE or ODE based analyses under minimal assumptions.
• Abstract（参考訳）: 一貫性モデルは近年、従来のSDEベースの拡散モデルに代わる魅力的な代替品として登場し、非常に少数のステップで高品質なサンプルを生成することによって、生成を著しく加速する。 彼らの経験的成功にもかかわらず、彼らのスピードアップに対する適切な理論的正当化は依然として不足している。 本稿では、このギャップを埋める解析を行い、与えられた時刻に入力を逆軌道に沿った任意のタイムスタンプにマッピングできる一貫性モデルが与えられると、$ O(\varepsilon^2) $ の KL 分岐を、$ O\left(\log\left(\frac{d}{\varepsilon}\right)\right) $ のステップサイズで、d はデータ次元である。 さらに、データ分散に関する最小限の仮定の下では、最近の拡散モデル解析において、同様のKL収束保証が得られることを示し、ステップの数は $ O\left(d \log\left(\frac{d}{\varepsilon}\right)\right) $ である。 さらに、このような一貫性モデルの推定のための理論的解析も提供し、スムーズかつ非スムーズな設定で、小さな離散化ステップを用いて正確な学習が可能であることを結論づける。 特に、非滑らかなケースに対する我々の結果は、最小の仮定の下での既存のSDEやODEベースの分析と比較してクラス収束率が最も良い。

関連論文リスト

• Improved Convergence Rate for Diffusion Probabilistic Models [7.237817437521988]
  スコアベース拡散モデルは、機械学習と人工知能の分野で顕著な経験的性能を達成した。 多くの理論的な試みにもかかわらず、理論と実践の間には大きなギャップがある。 繰り返しの複雑性を$d2/3varepsilon-2/3$とすると、$d5/12varepsilon-1$よりよい。 我々の理論は、$varepsilon$-accurate score estimatesを許容し、ターゲット分布の対数共振を必要としない。
  論文  参考訳（メタデータ） (2024-10-17T16:37:33Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• O(d/T) Convergence Theory for Diffusion Probabilistic Models under Minimal Assumptions [6.76974373198208]
  最小の仮定の下で,拡散確率モデル(DDPM)の高速収束理論を確立する。 収束率は$O(k/T)$に改善され、$k$は対象データ分布の内在次元であることを示す。 これはDDPMが未知の低次元構造に自動的に適応する能力を強調している。
  論文  参考訳（メタデータ） (2024-09-27T17:59:10Z)
• Accelerating Diffusion Models with Parallel Sampling: Inference at Sub-Linear Time Complexity [11.71206628091551]
  拡散モデルは、訓練と評価に費用がかかるため、拡散モデルの推論コストを削減することが大きな目標である。 並列サンプリング手法であるHh2024parallelを用いて拡散モデルを高速化する実験的な成功に触発されて,サンプリングプロセスを各ブロック内に並列化可能なPicard繰り返しを持つ$mathcalO(1)$ブロックに分割することを提案する。 我々の結果は、高速で効率的な高次元データサンプリングの可能性に光を当てた。
  論文  参考訳（メタデータ） (2024-05-24T23:59:41Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Improved Analysis of Score-based Generative Modeling: User-Friendly Bounds under Minimal Smoothness Assumptions [9.953088581242845]
  2次モーメントを持つ任意のデータ分布に対して,コンバージェンス保証と複雑性を提供する。 我々の結果は、対数共空性や機能的不等式を前提としない。 我々の理論解析は、異なる離散近似の比較を提供し、実際の離散化点の選択を導くかもしれない。
  論文  参考訳（メタデータ） (2022-11-03T15:51:00Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。