論文の概要: Improved Convergence Rate for Diffusion Probabilistic Models

• arxiv url: http://arxiv.org/abs/2410.13738v1
• Date: Thu, 17 Oct 2024 16:37:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:21:41.308502
• Title: Improved Convergence Rate for Diffusion Probabilistic Models
• Title（参考訳）: 拡散確率モデルにおける収束率の改善
• Authors: Gen Li, Yuchen Jiao,
• Abstract要約: スコアベース拡散モデルは、機械学習と人工知能の分野で顕著な経験的性能を達成した。 多くの理論的な試みにもかかわらず、理論と実践の間には大きなギャップがある。 繰り返しの複雑性を$d2/3varepsilon-2/3$とすると、$d5/12varepsilon-1$よりよい。 我々の理論は、$varepsilon$-accurate score estimatesを許容し、ターゲット分布の対数共振を必要としない。
• 参考スコア（独自算出の注目度）: 7.237817437521988
• License:
• Abstract: Score-based diffusion models have achieved remarkable empirical performance in the field of machine learning and artificial intelligence for their ability to generate high-quality new data instances from complex distributions. Improving our understanding of diffusion models, including mainly convergence analysis for such models, has attracted a lot of interests. Despite a lot of theoretical attempts, there still exists significant gap between theory and practice. Towards to close this gap, we establish an iteration complexity at the order of $d^{1/3}\varepsilon^{-2/3}$, which is better than $d^{5/12}\varepsilon^{-1}$, the best known complexity achieved before our work. This convergence analysis is based on a randomized midpoint method, which is first proposed for log-concave sampling (Shen and Lee, 2019), and then extended to diffusion models by Gupta et al. (2024). Our theory accommodates $\varepsilon$-accurate score estimates, and does not require log-concavity on the target distribution. Moreover, the algorithm can also be parallelized to run in only $O(\log^2(d/\varepsilon))$ parallel rounds in a similar way to prior works.
• Abstract（参考訳）: スコアベースの拡散モデルは、複雑な分布から高品質な新しいデータインスタンスを生成する能力によって、機械学習と人工知能の分野において顕著な経験的性能を達成した。 このようなモデルに対する主に収束解析を含む拡散モデルの理解を改善することは、多くの関心を集めている。 多くの理論的な試みにもかかわらず、理論と実践の間には大きなギャップがある。 このギャップを埋めるために、我々は$d^{1/3}\varepsilon^{-2/3}$の順番で反復複雑性を確立する。 この収束解析はランダム化中間点法に基づいており、これはまずログ・コンケーブサンプリング(Shen and Lee, 2019)のために提案され、その後 Gupta et al (2024) によって拡散モデルに拡張された。 我々の理論は、$\varepsilon$-accurate score estimatesを許容し、ターゲット分布の対数共振を必要としない。 さらに、アルゴリズムは、以前の処理と同様の方法で、$O(\log^2(d/\varepsilon)$並列ラウンドでのみ実行されるように並列化することもできる。

関連論文リスト

• Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
  本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。 我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
  論文  参考訳（メタデータ） (2024-08-25T10:28:31Z)
• A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
  拡散型サンプリング器の非漸近収束理論を開発する。 我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。 我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
  論文  参考訳（メタデータ） (2024-08-05T09:02:24Z)
• Flow matching achieves almost minimax optimal convergence [50.38891696297888]
  フローマッチング (FM) は, シミュレーションのない生成モデルとして注目されている。 本稿では,大試料径のFMの収束特性を$p$-Wasserstein 距離で論じる。 我々は、FMが1leq p leq 2$でほぼ最小の収束率を達成できることを確立し、FMが拡散モデルに匹敵する収束率に達するという最初の理論的証拠を示す。
  論文  参考訳（メタデータ） (2024-05-31T14:54:51Z)
• Accelerating Diffusion Models with Parallel Sampling: Inference at Sub-Linear Time Complexity [11.71206628091551]
  拡散モデルは、訓練と評価に費用がかかるため、拡散モデルの推論コストを削減することが大きな目標である。 並列サンプリング手法であるHh2024parallelを用いて拡散モデルを高速化する実験的な成功に触発されて,サンプリングプロセスを各ブロック内に並列化可能なPicard繰り返しを持つ$mathcalO(1)$ブロックに分割することを提案する。 我々の結果は、高速で効率的な高次元データサンプリングの可能性に光を当てた。
  論文  参考訳（メタデータ） (2024-05-24T23:59:41Z)
• Convergence Analysis of Probability Flow ODE for Score-based Generative Models [5.939858158928473]
  確率フローODEに基づく決定論的サンプリング器の収束特性を理論的・数値的両面から検討する。 連続時間レベルでは、ターゲットと生成されたデータ分布の総変動を$mathcalO(d3/4delta1/2)$で表すことができる。
  論文  参考訳（メタデータ） (2024-04-15T12:29:28Z)
• Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
  本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Improved Analysis of Score-based Generative Modeling: User-Friendly Bounds under Minimal Smoothness Assumptions [9.953088581242845]
  2次モーメントを持つ任意のデータ分布に対して,コンバージェンス保証と複雑性を提供する。 我々の結果は、対数共空性や機能的不等式を前提としない。 我々の理論解析は、異なる離散近似の比較を提供し、実際の離散化点の選択を導くかもしれない。
  論文  参考訳（メタデータ） (2022-11-03T15:51:00Z)
• KL-Entropy-Regularized RL with a Generative Model is Minimax Optimal [70.15267479220691]
  モデル強化学習のサンプル複雑性を,生成的分散自由モデルを用いて検討・解析する。 我々の分析は、$varepsilon$が十分小さい場合、$varepsilon$-optimal Policyを見つけるのが、ほぼ最小の最適化であることを示している。
  論文  参考訳（メタデータ） (2022-05-27T19:39:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。