論文の概要: Diffusion Models are Secretly Exchangeable: Parallelizing DDPMs via Autospeculation

• arxiv url: http://arxiv.org/abs/2505.03983v1
• Date: Tue, 06 May 2025 21:10:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-08 19:07:35.919848
• Title: Diffusion Models are Secretly Exchangeable: Parallelizing DDPMs via Autospeculation
• Title（参考訳）: 拡散モデルは密に交換可能である:オートスペックルによるDDPMの並列化
• Authors: Hengyuan Hu, Aniket Das, Dorsa Sadigh, Nima Anari,
• Abstract要約: 本稿では,広く使われている投機的復号アルゴリズムをDDPMに拡張したemphAutospeculative Decoding (ASD)を紹介する。 我々の理論的分析は、ASDが$tildeO (Kfrac13)$並列実行速度を$K$ステップDDPMで達成していることを示している。
• 参考スコア（独自算出の注目度）: 32.70038115212533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Denoising Diffusion Probabilistic Models (DDPMs) have emerged as powerful tools for generative modeling. However, their sequential computation requirements lead to significant inference-time bottlenecks. In this work, we utilize the connection between DDPMs and Stochastic Localization to prove that, under an appropriate reparametrization, the increments of DDPM satisfy an exchangeability property. This general insight enables near-black-box adaptation of various performance optimization techniques from autoregressive models to the diffusion setting. To demonstrate this, we introduce \emph{Autospeculative Decoding} (ASD), an extension of the widely used speculative decoding algorithm to DDPMs that does not require any auxiliary draft models. Our theoretical analysis shows that ASD achieves a $\tilde{O} (K^{\frac{1}{3}})$ parallel runtime speedup over the $K$ step sequential DDPM. We also demonstrate that a practical implementation of autospeculative decoding accelerates DDPM inference significantly in various domains.
• Abstract（参考訳）: Denoising Diffusion Probabilistic Models (DDPM)は、生成モデリングの強力なツールとして登場した。 しかし、それらの逐次計算要求は、推論時のボトルネックを著しく引き起こす。 本研究では、DDPMと確率的局所化の接続を利用して、適切な再パラメータ化の下でDDPMの増分が交換性特性を満たすことを示す。 この一般的な洞察は、自己回帰モデルから拡散設定への様々な性能最適化手法の近黒ボックス適応を可能にする。 これを示すために、広く使われている投機的復号アルゴリズムを補助的なドラフトモデルを必要としないDDPMに拡張した \emph{Autospeculative Decoding} (ASD) を紹介する。 我々の理論的解析は、ASDが$K$のステップシーケンシャルDDPMに対して$\tilde{O} (K^{\frac{1}{3}})$の並列実行速度を達成していることを示している。 また,自己投機的復号化の実践的な実装によって,DDPM推論が様々な領域で著しく加速されることを実証した。

関連論文リスト

• Improved Diffusion-based Generative Model with Better Adversarial Robustness [65.38540020916432]
  拡散確率モデル(DPM)は、生成タスクにおいて大きな成功を収めた。 デノナイジングプロセスでは、入力データ分布はトレーニングと推論の段階によって異なる。
  論文  参考訳（メタデータ） (2025-02-24T12:29:16Z)
• Denoising diffusion probabilistic models are optimally adaptive to unknown low dimensionality [21.10158431913811]
  DDPMは,本質的な低次元データの自動利用により,サンプリングスピードアップを実現することができるかを検討する。 DDPMの繰り返し複雑性は$k$とほぼ線形にスケールすることが証明され、KL分散を用いて分布の相違を測定するのに最適である。
  論文  参考訳（メタデータ） (2024-10-24T14:36:12Z)
• AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
  既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。 本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。 本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。 次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
  論文  参考訳（メタデータ） (2023-07-20T09:06:21Z)
• GCD-DDPM: A Generative Change Detection Model Based on Difference-Feature Guided DDPM [7.922421805234563]
  深層学習法は近年,バイテンポラルチェンジ検出(CD)において大きな可能性を秘めている 本研究は,CDマップを直接生成するGCD-DDPMと呼ばれる生成的変化検出モデルを提案する。 4つの高解像度CDデータセットの実験により、提案したGCD-DDPMの優れた性能が確認された。
  論文  参考訳（メタデータ） (2023-06-06T05:51:50Z)
• Accelerating Diffusion Models via Early Stop of the Diffusion Process [114.48426684994179]
  Denoising Diffusion Probabilistic Models (DDPM) は、様々な世代タスクにおいて優れたパフォーマンスを実現している。 実際には、DDPMは高品質なサンプルを得るために何十万ものデノナイジングステップを必要とすることが多い。 本稿では,DDPMの早期停止型DDPM(Early-Stopped DDPM, ES-DDPM)の原理的高速化戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-25T06:40:09Z)
• Learning to Efficiently Sample from Diffusion Probabilistic Models [49.58748345998702]
  Denoising Diffusion Probabilistic Models (DDPM) は、様々な領域にわたる高忠実度サンプルと競合する対数類似度が得られる。 我々は,事前学習したDDPMに対して最適な離散時間スケジュールを求める,正確な動的プログラミングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T17:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。