Fugu-MT 論文翻訳(概要): Efficient Diffusion Distillation via Embedding Loss

論文の概要: Efficient Diffusion Distillation via Embedding Loss

arxiv url: http://arxiv.org/abs/2604.22379v1
Date: Fri, 24 Apr 2026 09:16:47 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-27 15:36:26.411194
Title: Efficient Diffusion Distillation via Embedding Loss
Title（参考訳）: 埋没損失による効率よい拡散蒸留
Authors: Jincheng Ying, Yitao Chen, Li Wenlin, Minghui Xu, Yinhao Xiao,
Abstract要約: 埋め込み損失 (EL) は, 既存の拡散蒸留法を補完する新たな補足損失関数であり, 生成品質を高め, バッチサイズを小さくして訓練を加速する。提案手法は,非条件生成に1.475,条件生成に1.380のFID値を実現する。また,本手法は,資源制約環境下での拡散型生成モデルを展開するための,より実用的でスケーラブルなソリューションを提供するため,最大80%のトレーニングイテレーションを短縮する。
参考スコア（独自算出の注目度）: 5.036053636785486
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent advances in distilling expensive diffusion models into efficient few-step generators show significant promise. However, these methods typically demand substantial computational resources and extended training periods, limiting accessibility for resource-constrained researchers, and existing supplementary loss functions have notable limitations. Regression loss requires pre-generating large datasets before training and limits the student model to the teacher's performance, while GAN-based losses suffer from training instability and require careful tuning. In this paper, we propose Embedding Loss (EL), a novel supplementary loss function that complements existing diffusion distillation methods to enhance generation quality and accelerate training with smaller batch sizes. Leveraging feature embeddings from a diverse set of randomly initialized networks, EL effectively aligns the feature distributions between the distilled few-step generator and the original data. By computing Maximum Mean Discrepancy (MMD) in the embedded feature space, EL ensures robust distribution matching, thereby preserving sample fidelity and diversity during distillation. Within distribution matching distillation frameworks, EL demonstrates strong empirical performance for one-step generators. On the CIFAR-10 dataset, our approach achieves state-of-the-art FID values of 1.475 for unconditional generation and 1.380 for conditional generation. Beyond CIFAR-10, we further validate EL across multiple benchmarks and distillation methods, including ImageNet, AFHQ-v2, and FFHQ datasets, using DMD, DI, and CM distillation frameworks, demonstrating consistent improvements over existing one-step distillation methods. Our method also reduces training iterations by up to 80%, offering a more practical and scalable solution for deploying diffusion-based generative models in resource-constrained environments.
Abstract（参考訳）: 近年の高効率数段発生器への高価格拡散モデルの蒸留技術は大きな可能性を示唆している。しかし、これらの手法は典型的には、かなりの計算資源と訓練期間を延長し、リソース制約のある研究者のアクセシビリティを制限し、既存の補足的損失関数には顕著な制限がある。回帰損失は、トレーニング前に大規模なデータセットを事前生成し、学生モデルを教師のパフォーマンスに制限することを必要とし、一方、GANベースの損失はトレーニング不安定に悩まされ、注意深いチューニングを必要とする。本稿では, 既存の蒸留法を補完する新たな補足損失関数である Embedding Loss (EL) を提案する。多様な無作為初期化ネットワークから特徴埋め込みを活用することで、ELは蒸留した数段生成器と元のデータとの間の特徴分布を効果的に整列する。埋め込み特徴空間における最大平均離散性(MMD)を計算することにより、ELはロバストな分布マッチングを保証し、蒸留中の試料の忠実度と多様性を保存する。分散マッチング蒸留フレームワーク内では、ELは1段階発生器に対して強い経験的性能を示す。 CIFAR-10データセットでは,非条件生成では1.475,条件生成では1.380の最先端FID値が得られた。 CIFAR-10以外にも、ImageNet、AFHQ-v2、FFHQのデータセットを含む複数のベンチマークおよび蒸留手法のELを、DMD、DI、CM蒸留フレームワークを用いて検証し、既存の1段階蒸留方式よりも一貫した改善を実証した。また,本手法は,資源制約環境下での拡散型生成モデルを展開するための,より実用的でスケーラブルなソリューションを提供するため,最大80%のトレーニングイテレーションを短縮する。

論文の概要: Efficient Diffusion Distillation via Embedding Loss

関連論文リスト