論文の概要: Large Scale Diffusion Distillation via Score-Regularized Continuous-Time Consistency

• arxiv url: http://arxiv.org/abs/2510.08431v1
• Date: Thu, 09 Oct 2025 16:45:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:15.20972
• Title: Large Scale Diffusion Distillation via Score-Regularized Continuous-Time Consistency
• Title（参考訳）: Score-Regularized Continuous-Time Consistencyによる大規模拡散蒸留
• Authors: Kaiwen Zheng, Yuji Wang, Qianli Ma, Huayu Chen, Jintao Zhang, Yogesh Balaji, Jianfei Chen, Ming-Yu Liu, Jun Zhu, Qinsheng Zhang,
• Abstract要約: 連続時間一貫性モデル(sCM)は理論的に原理化され、学術規模の拡散を加速するために実証的に強力である。 まず並列性互換なFlashAttention-2 JVPカーネルを開発し、100億以上のパラメータと高次元ビデオタスクを持つモデル上でsCMトレーニングを可能にする。 本稿では, スコア蒸留を長軸正則化器として組み込んだスコア規則化連続時間一貫性モデル(rCM)を提案する。
• 参考スコア（独自算出の注目度）: 60.74505433956616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work represents the first effort to scale up continuous-time consistency distillation to general application-level image and video diffusion models. Although continuous-time consistency model (sCM) is theoretically principled and empirically powerful for accelerating academic-scale diffusion, its applicability to large-scale text-to-image and video tasks remains unclear due to infrastructure challenges in Jacobian-vector product (JVP) computation and the limitations of standard evaluation benchmarks. We first develop a parallelism-compatible FlashAttention-2 JVP kernel, enabling sCM training on models with over 10 billion parameters and high-dimensional video tasks. Our investigation reveals fundamental quality limitations of sCM in fine-detail generation, which we attribute to error accumulation and the "mode-covering" nature of its forward-divergence objective. To remedy this, we propose the score-regularized continuous-time consistency model (rCM), which incorporates score distillation as a long-skip regularizer. This integration complements sCM with the "mode-seeking" reverse divergence, effectively improving visual quality while maintaining high generation diversity. Validated on large-scale models (Cosmos-Predict2, Wan2.1) up to 14B parameters and 5-second videos, rCM matches or surpasses the state-of-the-art distillation method DMD2 on quality metrics while offering notable advantages in diversity, all without GAN tuning or extensive hyperparameter searches. The distilled models generate high-fidelity samples in only $1\sim4$ steps, accelerating diffusion sampling by $15\times\sim50\times$. These results position rCM as a practical and theoretically grounded framework for advancing large-scale diffusion distillation.
• Abstract（参考訳）: この研究は、一般的なアプリケーションレベルの画像およびビデオ拡散モデルに連続時間一貫性蒸留を拡大する最初の試みである。 連続時間一貫性モデル(sCM)は理論上は理論上は学術的拡散の促進に有効であるが,ヤコビアンベクトル製品(JVP)計算のインフラ問題や標準評価ベンチマークの限界のため,大規模テキスト・ツー・イメージやビデオタスクへの適用性は未定である。 まず並列性互換なFlashAttention-2 JVPカーネルを開発し、100億以上のパラメータと高次元ビデオタスクを持つモデル上でsCMトレーニングを可能にする。 本研究は, 細部生成におけるsCMの基本的な品質限界を明らかにするものである。 これを解決するために, スコア蒸留を長軸正則化器として組み込んだスコア規則化連続時間整合モデル (rCM) を提案する。 この統合は、sCMと「モード探索」逆のばらつきを補完し、高世代多様性を維持しながら視覚的品質を効果的に改善する。 大規模モデル(Cosmos-Predict2, Wan2.1)で14Bパラメータと5秒ビデオまで検証されたrCMは、品質指標で最先端の蒸留法DMD2と一致または超える。 蒸留されたモデルは、高忠実度サンプルをわずか1\sim4$のステップで生成し、拡散サンプリングを15\times\sim50\times$で加速させる。 これらの結果から, rCMは大規模拡散蒸留を推し進めるための実用的, 理論的に基礎的な枠組みとして位置づけられた。

関連論文リスト

• POSE: Phased One-Step Adversarial Equilibrium for Video Diffusion Models [18.761042377485367]
  POSE(Phased One-Step Equilibrium)は、大規模ビデオ拡散モデルのサンプリングステップを削減する蒸留フレームワークである。 PSEはVBench-I2V上の他の加速度法よりもセマンティックアライメント,時間的会議,フレーム品質が平均7.15%向上していることを示す。
  論文  参考訳（メタデータ） (2025-08-28T17:20:01Z)
• CHORDS: Diffusion Sampling Accelerator with Multi-core Hierarchical ODE Solvers [72.23291099555459]
  拡散に基づく生成モデルは、高忠実度画像やビデオの主要な生成元となっているが、計算コストのかかる推論手順によって制限されている。 本稿では,マルチコア並列処理による一般,トレーニング不要,モデルに依存しない高速化戦略について検討する。 ChoRDSは様々な大規模画像およびビデオ拡散モデルのサンプリングを著しく加速し、4コアで2.1倍のスピードアップを実現し、ベースラインで50%改善し、8コアで2.9倍のスピードアップを実現した。
  論文  参考訳（メタデータ） (2025-07-21T05:48:47Z)
• Dual-Expert Consistency Model for Efficient and High-Quality Video Generation [57.33788820909211]
  本稿では,パラメータ効率の高いtextbfDual-Expert Consistency Model (DCM) を提案する。 提案手法は, ビデオ拡散モデル蒸留における専門的専門化の有効性を実証し, サンプリング工程を大幅に短縮して, 最先端の視覚品質を実現する。
  論文  参考訳（メタデータ） (2025-06-03T17:55:04Z)
• One-Step Diffusion Model for Image Motion-Deblurring [85.76149042561507]
  本稿では,脱臭過程を1段階に短縮する新しいフレームワークである脱臭拡散モデル(OSDD)を提案する。 拡散モデルにおける忠実度損失に対処するために,構造復元を改善する改良された変分オートエンコーダ(eVAE)を導入する。 提案手法は,実測値と非参照値の両方で高い性能を達成する。
  論文  参考訳（メタデータ） (2025-03-09T09:39:57Z)
• Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference [60.32804641276217]
  本稿では,LCM(Latent Consistency Models)を提案する。 高品質の768 x 768 24-step LCMは、トレーニングに32A100 GPU時間しかかからない。 また,画像データセットの微調整に適した新しいLCM法であるLCF(Latent Consistency Fine-tuning)についても紹介する。
  論文  参考訳（メタデータ） (2023-10-06T17:11:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。