論文の概要: SCott: Accelerating Diffusion Models with Stochastic Consistency Distillation

• arxiv url: http://arxiv.org/abs/2403.01505v4
• Date: Wed, 05 Mar 2025 11:39:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:49:23.626616
• Title: SCott: Accelerating Diffusion Models with Stochastic Consistency Distillation
• Title（参考訳）: SCott:確率整合蒸留による拡散モデルの高速化
• Authors: Hongjian Liu, Qingsong Xie, TianXiang Ye, Zhijie Deng, Chen Chen, Shixiang Tang, Xueyang Fu, Haonan Lu, Zheng-jun Zha,
• Abstract要約: 本稿では,テキスト・画像の高速生成を実現するために,SCott(Consistency Distillation)を提案する。 SCottは、訓練済みの教師モデルの通常の微分方程式解法に基づくサンプリングプロセスを学生に蒸留する。 安定拡散V1.5教師によるMSCOCO-2017 5Kデータセットでは、SCottは2ステップのサンプリングステップを持つ21.9のFIDを達成し、1ステップのInstaFlow (23.4)と4ステップのUFOGen (22.1)を上回ります。
• 参考スコア（独自算出の注目度）: 74.32186107058382
• License:
• Abstract: The iterative sampling procedure employed by diffusion models (DMs) often leads to significant inference latency. To address this, we propose Stochastic Consistency Distillation (SCott) to enable accelerated text-to-image generation, where high-quality and diverse generations can be achieved within just 2-4 sampling steps. In contrast to vanilla consistency distillation (CD) which distills the ordinary differential equation solvers-based sampling process of a pre-trained teacher model into a student, SCott explores the possibility and validates the efficacy of integrating stochastic differential equation (SDE) solvers into CD to fully unleash the potential of the teacher. SCott is augmented with elaborate strategies to control the noise strength and sampling process of the SDE solver. An adversarial loss is further incorporated to strengthen the consistency constraints in rare sampling steps. Empirically, on the MSCOCO-2017 5K dataset with a Stable Diffusion-V1.5 teacher, SCott achieves an FID of 21.9 with 2 sampling steps, surpassing that of the 1-step InstaFlow (23.4) and the 4-step UFOGen (22.1). Moreover, SCott can yield more diverse samples than other consistency models for high-resolution image generation, with up to 16% improvement in a qualified metric.
• Abstract（参考訳）: 拡散モデル(DM)による反復サンプリング手順は、しばしば大きな推論遅延を引き起こす。 そこで本研究では,高品質で多様な世代を,わずか2～4段階のサンプリングステップで実現可能な,高速なテキスト・画像生成を実現するStochastic Consistency Distillation (SCott)を提案する。 教師モデルの通常の微分方程式に基づくサンプリング過程を学生に蒸留するバニラ整合蒸留(CD)とは対照的に、SCottは確率微分方程式(SDE)ソルバをCDに統合して教師のポテンシャルを完全に解き放つ可能性を探究し、有効性を検証する。 SCottは、SDEソルバのノイズ強度とサンプリング過程を制御するための精巧な戦略で拡張されている。 対向損失はさらに、希少なサンプリングステップにおける一貫性の制約を強化するために組み込まれている。 MSCOCO-2017 5Kデータセットと安定拡散V1.5の教師を用いて、SCottは2ステップのサンプリングステップを持つ21.9のFIDを達成し、1ステップのInstaFlow (23.4)と4ステップのUFOGen (22.1)を上回った。 さらに、SCottは高解像度画像生成のための他の一貫性モデルよりも多彩なサンプルが得られる。

関連論文リスト

• Self-Refining Diffusion Samplers: Enabling Parallelization via Parareal Iterations [53.180374639531145]
  自己精製拡散サンプリング(SRDS)は、サンプル品質を維持し、追加の並列計算コストでレイテンシを向上させることができる。 微分方程式の並列時間積分法であるPararealアルゴリズムから着想を得た。
  論文  参考訳（メタデータ） (2024-12-11T11:08:09Z)
• Directly Denoising Diffusion Models [6.109141407163027]
  数ステップのサンプリングで現実的な画像を生成するための単純で汎用的なアプローチであるDDDM(Directly Denoising Diffusion Model)を提案する。 本モデルでは, CIFAR-10のFIDスコアを1段階, 2段階のサンプリングで2.57と2.33とし, GANと蒸留モデルから得られたFIDスコアをそれぞれ上回った。 ImageNet 64x64の場合、当社のアプローチは主要なモデルに対する競争相手として機能します。
  論文  参考訳（メタデータ） (2024-05-22T11:20:32Z)
• Towards Fast Stochastic Sampling in Diffusion Generative Models [22.01769257075573]
  拡散モデルは、推論時に遅いサンプル生成に悩まされる。 拡張空間における事前学習拡散モデルにおける高速サンプリングのための分割法を提案する。 本研究では,スプリッティングの単純適用が高速サンプリングに最適であることを示す。
  論文  参考訳（メタデータ） (2024-02-11T14:04:13Z)
• Efficient Integrators for Diffusion Generative Models [22.01769257075573]
  拡散モデルは、推論時に遅いサンプル生成に悩まされる。 事前学習モデルにおけるサンプル生成を高速化するための2つの補完的フレームワークを提案する。 本稿では,拡張空間における拡散モデルにおける最良報告性能を実現するハイブリッド手法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T21:04:42Z)
• Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
  Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。 CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
  論文  参考訳（メタデータ） (2023-10-01T05:07:17Z)
• SA-Solver: Stochastic Adams Solver for Fast Sampling of Diffusion Models [66.67616086310662]
  拡散確率モデル(DPM)は生成タスクでかなりの成功を収めた。 DPM からのサンプリングは、時間を要する拡散 SDE や ODE の解法と等価であるため、改良された微分方程式解法に基づく多数の高速サンプリング手法が提案されている。 拡散SDEを解くための効率の良いAdams法であるSA-of-rを提案する。
  論文  参考訳（メタデータ） (2023-09-10T12:44:54Z)
• Parallel Sampling of Diffusion Models [76.3124029406809]
  拡散モデルは強力な生成モデルであるが、サンプリングが遅い。 そこで本研究では,複数のステップを並列にdenoisingすることで,事前学習した拡散モデルのサンプリングを高速化するParaDiGMSを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:42Z)
• Catch-Up Distillation: You Only Need to Train Once for Accelerating Sampling [15.255521881269466]
  本稿では, 速度推定モデルの現在のモーメント出力を前回のモーメント出力と一致させる「キャッチアップ蒸留(CUD)」を提案する。 具体的には、CUDは、元の正規微分方程式(ODE)訓練目標を調整し、現在のモーメント出力を、基底真理ラベルと前のモーメント出力の両方に整合させる。 CUDの有効性を示すため、我々はCIFAR-10、MNIST、ImageNet-64で徹底的なアブレーションと比較実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T07:23:12Z)
• ProDiff: Progressive Fast Diffusion Model For High-Quality Text-to-Speech [63.780196620966905]
  本稿では,高品質テキスト合成のためのプログレッシブ高速拡散モデルであるProDiffを提案する。 ProDiffはクリーンデータを直接予測することでデノナイジングモデルをパラメータ化し、サンプリングを高速化する際の品質劣化を回避する。 評価の結果,高忠実度メル-スペクトログラムの合成にProDiffは2回しか要しないことがわかった。 ProDiffは1つのNVIDIA 2080Ti GPU上で、サンプリング速度をリアルタイムより24倍高速にする。
  論文  参考訳（メタデータ） (2022-07-13T17:45:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。