論文の概要: Few-Step Diffusion via Score identity Distillation

• arxiv url: http://arxiv.org/abs/2505.12674v1
• Date: Mon, 19 May 2025 03:45:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.386844
• Title: Few-Step Diffusion via Score identity Distillation
• Title（参考訳）: スコアアイデンティティ蒸留によるFew-Step拡散
• Authors: Mingyuan Zhou, Yi Gu, Zhendong Wang,
• Abstract要約: 拡散蒸留は, テキスト・ツー・イメージ(T2I)拡散モデルを促進するための有望な戦略として浮上している。 既存の方法は、高分解能T2I拡散モデルを蒸留する際に、実像や教師合成画像に頼っている。 教師のCFGを無効にし、偽スコアネットワークでテキストコンディショニングを除去するZero-CFGと、偽スコアネットワークで否定的なCFGを適用するAnti-CFGの2つの新しいガイダンス戦略を提案する。
• 参考スコア（独自算出の注目度）: 67.07985339442703
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion distillation has emerged as a promising strategy for accelerating text-to-image (T2I) diffusion models by distilling a pretrained score network into a one- or few-step generator. While existing methods have made notable progress, they often rely on real or teacher-synthesized images to perform well when distilling high-resolution T2I diffusion models such as Stable Diffusion XL (SDXL), and their use of classifier-free guidance (CFG) introduces a persistent trade-off between text-image alignment and generation diversity. We address these challenges by optimizing Score identity Distillation (SiD) -- a data-free, one-step distillation framework -- for few-step generation. Backed by theoretical analysis that justifies matching a uniform mixture of outputs from all generation steps to the data distribution, our few-step distillation algorithm avoids step-specific networks and integrates seamlessly into existing pipelines, achieving state-of-the-art performance on SDXL at 1024x1024 resolution. To mitigate the alignment-diversity trade-off when real text-image pairs are available, we introduce a Diffusion GAN-based adversarial loss applied to the uniform mixture and propose two new guidance strategies: Zero-CFG, which disables CFG in the teacher and removes text conditioning in the fake score network, and Anti-CFG, which applies negative CFG in the fake score network. This flexible setup improves diversity without sacrificing alignment. Comprehensive experiments on SD1.5 and SDXL demonstrate state-of-the-art performance in both one-step and few-step generation settings, along with robustness to the absence of real images. Our efficient PyTorch implementation, along with the resulting one- and few-step distilled generators, will be released publicly as a separate branch at https://github.com/mingyuanzhou/SiD-LSG.
• Abstract（参考訳）: 拡散蒸留は、事前学習したスコアネットワークを1段階または数段階のジェネレータに蒸留することにより、テキスト・ツー・イメージ(T2I)拡散モデルを加速するための有望な戦略として浮上している。 既存の手法は顕著な進歩を遂げているが、安定拡散XL (SDXL) のような高分解能T2I拡散モデルを蒸留する際には、実画像や教師合成画像に頼ってよく機能し、また、分類器フリーガイダンス (CFG) を用いることで、テキスト画像のアライメントと生成の多様性の間に永続的なトレードオフをもたらす。 データフリーの一段階蒸留フレームワークであるScore Identity Distillation (SiD)を数ステップ生成のために最適化することで、これらの課題に対処する。 我々の数ステップ蒸留アルゴリズムは,すべての生成ステップからの出力の均一な混合を正当化する理論解析により,ステップ固有のネットワークを回避し,既存のパイプラインにシームレスに統合し,SDXLの1024×1024解像度での最先端性能を実現する。 そこで本研究では,教師のCFGを無効にし,偽スコアネットワークでテキスト条件を削除したZero-CFGと,偽スコアネットワークで負のCFGを適用したAnti-CFGの2つの新しいガイダンス戦略を提案する。 この柔軟な設定は、アライメントを犠牲にすることなく多様性を向上させる。 SD1.5とSDXLの総合的な実験は、実画像の欠如に対する堅牢性とともに、ワンステップと数ステップの両方で最先端の性能を示す。 私たちの効率の良いPyTorch実装は、結果の1段階と数段階の蒸留生成器とともに、https://github.com/mingyuanzhou/SiD-LSG.comで独立したブランチとして公開されます。

関連論文リスト

• Regularized Distribution Matching Distillation for One-step Unpaired Image-to-Image Translation [1.8434042562191815]
  未ペア画像対画像(I2I)問題に適用可能な正規分布マッチング蒸留法を提案する。 画像データセット間の2次元例とI2Iを含む複数の翻訳タスクに適用した経験的性能を示す。
  論文  参考訳（メタデータ） (2024-06-20T22:22:31Z)
• Guided Score identity Distillation for Data-Free One-Step Text-to-Image Generation [62.30570286073223]
  拡散に基づくテキスト・画像生成モデルは、テキスト記述と整合した画像を生成する能力を実証している。 本研究では, 実データにアクセスすることなく, 事前学習した拡散モデルの効率的な蒸留を可能にする, データフリーガイド蒸留法を提案する。 データフリー蒸留法は, 1ステップ生成装置で生成した合成画像のみをトレーニングすることにより, FIDとCLIPのスコアを急速に向上させ, 競争力のあるCLIPスコアを維持しつつ, 最先端のFID性能を実現する。
  論文  参考訳（メタデータ） (2024-06-03T17:44:11Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)
• Distilling Diffusion Models into Conditional GANs [90.76040478677609]
  複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。 E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。 我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
  論文  参考訳（メタデータ） (2024-05-09T17:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。