論文の概要: Accelerating Diffusion Models with Parallel Sampling: Inference at Sub-Linear Time Complexity

• arxiv url: http://arxiv.org/abs/2405.15986v1
• Date: Fri, 24 May 2024 23:59:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 01:39:22.755649
• Title: Accelerating Diffusion Models with Parallel Sampling: Inference at Sub-Linear Time Complexity
• Title（参考訳）: 並列サンプリングによる拡散モデルの高速化:準線形時間複雑度での推論
• Authors: Haoxuan Chen, Yinuo Ren, Lexing Ying, Grant M. Rotskoff,
• Abstract要約: 拡散モデルは、訓練と評価に費用がかかるため、拡散モデルの推論コストを削減することが大きな目標である。 並列サンプリング手法であるHh2024parallelを用いて拡散モデルを高速化する実験的な成功に触発されて,サンプリングプロセスを各ブロック内に並列化可能なPicard繰り返しを持つ$mathcalO(1)$ブロックに分割することを提案する。 我々の結果は、高速で効率的な高次元データサンプリングの可能性に光を当てた。
• 参考スコア（独自算出の注目度）: 11.71206628091551
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have become a leading method for generative modeling of both image and scientific data. As these models are costly to train and evaluate, reducing the inference cost for diffusion models remains a major goal. Inspired by the recent empirical success in accelerating diffusion models via the parallel sampling technique~\cite{shih2024parallel}, we propose to divide the sampling process into $\mathcal{O}(1)$ blocks with parallelizable Picard iterations within each block. Rigorous theoretical analysis reveals that our algorithm achieves $\widetilde{\mathcal{O}}(\mathrm{poly} \log d)$ overall time complexity, marking the first implementation with provable sub-linear complexity w.r.t. the data dimension $d$. Our analysis is based on a generalized version of Girsanov's theorem and is compatible with both the SDE and probability flow ODE implementations. Our results shed light on the potential of fast and efficient sampling of high-dimensional data on fast-evolving modern large-memory GPU clusters.
• Abstract（参考訳）: 拡散モデルは、画像データと科学データの両方を生成モデリングする主要な方法となっている。 これらのモデルは訓練と評価に費用がかかるため、拡散モデルの推論コストの削減は依然として大きな目標である。 並列サンプリング手法~\cite{shih2024parallel} による拡散モデルの高速化に関する最近の実証的な成功から着想を得て、サンプリングプロセスを各ブロック内に並列化可能なPicard繰り返しを持つ$\mathcal{O}(1)$ブロックに分割することを提案する。 厳密な理論解析により、我々のアルゴリズムが$\widetilde{\mathcal{O}}(\mathrm{poly} \log d)$全体の時間複雑性を達成し、証明可能なサブ線形複雑性を持つ最初の実装であるデータ次元$d$をマークする。 我々の分析は、Girsanovの定理の一般化版に基づいており、SDEと確率フローODEの実装の両方と互換性がある。 我々の結果は、高速で効率的な高次元データサンプリングの可能性に光を当てた。

関連論文リスト

• Improved Convergence Rate for Diffusion Probabilistic Models [7.237817437521988]
  スコアベース拡散モデルは、機械学習と人工知能の分野で顕著な経験的性能を達成した。 多くの理論的な試みにもかかわらず、理論と実践の間には大きなギャップがある。 繰り返しの複雑性を$d2/3varepsilon-2/3$とすると、$d5/12varepsilon-1$よりよい。 我々の理論は、$varepsilon$-accurate score estimatesを許容し、ターゲット分布の対数共振を必要としない。
  論文  参考訳（メタデータ） (2024-10-17T16:37:33Z)
• A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
  拡散型サンプリング器の非漸近収束理論を開発する。 我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。 我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
  論文  参考訳（メタデータ） (2024-08-05T09:02:24Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Accelerating Parallel Sampling of Diffusion Models [25.347710690711562]
  自己回帰過程を並列化することにより拡散モデルのサンプリングを高速化する新しい手法を提案する。 これらの手法を適用したParaTAAは、普遍的でトレーニング不要な並列サンプリングアルゴリズムである。 実験により、ParaTAAは一般的なシーケンシャルサンプリングアルゴリズムで要求される推論ステップを4$sim$14倍に削減できることを示した。
  論文  参考訳（メタデータ） (2024-02-15T14:27:58Z)
• Efficient Integrators for Diffusion Generative Models [22.01769257075573]
  拡散モデルは、推論時に遅いサンプル生成に悩まされる。 事前学習モデルにおけるサンプル生成を高速化するための2つの補完的フレームワークを提案する。 本稿では,拡張空間における拡散モデルにおける最良報告性能を実現するハイブリッド手法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T21:04:42Z)
• DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for Accelerated Seq2Seq Diffusion Models [58.450152413700586]
  ガウス空間に基づく離散突然変異を再構成する学習において拡散モデルを容易にする軟吸収状態を導入する。 我々は、サンプリングプロセスの高速化のために、連続空間内で最先端のODEソルバを用いている。 提案手法は, トレーニング収束率を4倍に向上させ, 類似品質のサンプルを800倍高速に生成する。
  論文  参考訳（メタデータ） (2023-10-09T15:29:10Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。