論文の概要: Multi-student Diffusion Distillation for Better One-step Generators

• arxiv url: http://arxiv.org/abs/2410.23274v1
• Date: Wed, 30 Oct 2024 17:54:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:29:04.606717
• Title: Multi-student Diffusion Distillation for Better One-step Generators
• Title（参考訳）: 優れたワンステップ発電機のための多段階拡散蒸留
• Authors: Yanke Song, Jonathan Lorraine, Weili Nie, Karsten Kreis, James Lucas,
• Abstract要約: マルチスチューデント蒸留(Multi-Student Distillation、MSD)は、条件付き教師拡散モデルを複数の単段階発生器に蒸留するフレームワークである。 MSDは、複数の蒸留された学生を訓練し、より小さいサイズで、したがってより高速な推論を可能にした。 4人の同じサイズの学生を使って、MSDはワンステップ画像生成のための新しい最先端技術、ImageNet-64x64でFID 1.20、ゼロショットCOCO2014で8.20を設定。
• 参考スコア（独自算出の注目度）: 29.751205880199855
• License:
• Abstract: Diffusion models achieve high-quality sample generation at the cost of a lengthy multistep inference procedure. To overcome this, diffusion distillation techniques produce student generators capable of matching or surpassing the teacher in a single step. However, the student model's inference speed is limited by the size of the teacher architecture, preventing real-time generation for computationally heavy applications. In this work, we introduce Multi-Student Distillation (MSD), a framework to distill a conditional teacher diffusion model into multiple single-step generators. Each student generator is responsible for a subset of the conditioning data, thereby obtaining higher generation quality for the same capacity. MSD trains multiple distilled students, allowing smaller sizes and, therefore, faster inference. Also, MSD offers a lightweight quality boost over single-student distillation with the same architecture. We demonstrate MSD is effective by training multiple same-sized or smaller students on single-step distillation using distribution matching and adversarial distillation techniques. With smaller students, MSD gets competitive results with faster inference for single-step generation. Using 4 same-sized students, MSD sets a new state-of-the-art for one-step image generation: FID 1.20 on ImageNet-64x64 and 8.20 on zero-shot COCO2014.
• Abstract（参考訳）: 拡散モデルは、長い多段階推論手順のコストで高品質なサンプル生成を実現する。 これを解決するために、拡散蒸留技術は、教師を1ステップでマッチングまたは超えることができる学生ジェネレータを生成する。 しかし、学生モデルの推論速度は教師アーキテクチャのサイズによって制限されており、計算量の多いアプリケーションのリアルタイム生成を妨げている。 本研究では,条件付き教師拡散モデルを複数の単一ステップ生成器に蒸留するフレームワークであるMulti-Student Distillation(MSD)を紹介する。 各学生ジェネレータは、条件付データのサブセットに責任を負い、同じ容量に対して高い生成品質を得る。 MSDは、複数の蒸留された学生を訓練し、より小さいサイズで、したがってより高速な推論を可能にした。 また、MSDは、同じアーキテクチャでシングルスチューデント蒸留よりも軽量な品質向上を提供する。 分散マッチングと対角蒸留技術を用いて,複数人以上の学生を単一段階蒸留で訓練し,MSDの有効性を実証した。 小さい学生では、MSDはシングルステップ生成の高速な推論で競争結果を得る。 4人の同じサイズの学生を使って、MSDはワンステップ画像生成のための新しい最先端技術、ImageNet-64x64でFID 1.20、ゼロショットCOCO2014で8.20を設定。

関連論文リスト

• Accelerating Diffusion Models with One-to-Many Knowledge Distillation [35.130782477699704]
  我々は,1つの教師拡散モデルを複数の学生拡散モデルに蒸留する1対多の知識蒸留(O2MKD)を導入する。 CIFAR10, LSUN Church, CelebA-HQ with DDPM and COCO30K with Stable Diffusion 実験の結果, O2MKD は従来の知識蒸留法や高速サンプリング法にも適用可能であることが示された。
  論文  参考訳（メタデータ） (2024-10-05T15:10:04Z)
• AMD: Automatic Multi-step Distillation of Large-scale Vision Models [39.70559487432038]
  本稿では,大規模視覚モデル圧縮のための自動多段階蒸留法(AMD)を提案する。 生徒のパフォーマンスを最大化する最適な教師支援者を自動的に識別する,効率的かつ効果的な最適化フレームワークが導入された。
  論文  参考訳（メタデータ） (2024-07-05T01:35:42Z)
• Diffusion Models Are Innate One-Step Generators [2.3359837623080613]
  拡散モデル(DM)は優れた高品質な結果をもたらす。 DMの層は異なる時間ステップで微分活性化され、単一のステップで画像を生成する固有の能力をもたらす。 提案手法は, CIFAR-10, AFHQv2 64x64 (FID 1.23), FFHQ 64x64 (FID 0.85), ImageNet 64x64 (FID 1.16) のSOTA結果を効率よく達成する。
  論文  参考訳（メタデータ） (2024-05-31T11:14:12Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)
• Score identity Distillation: Exponentially Fast Distillation of Pretrained Diffusion Models for One-Step Generation [61.03530321578825]
  Score Identity Distillation (SiD) は、事前学習した拡散モデルの生成能力を1ステップ生成器に蒸留する革新的なデータフリー手法である。 SiDは、蒸留中のFr'echet開始距離(FID)を指数的に高速に減少させるだけでなく、元の教師拡散モデルのFID性能に近づいたり、超えたりする。
  論文  参考訳（メタデータ） (2024-04-05T12:30:19Z)
• One-Step Diffusion Distillation via Deep Equilibrium Models [64.11782639697883]
  本稿では,拡散モデルを初期雑音から得られた画像に直接蒸留する簡易かつ効果的な方法を提案する。 本手法は,拡散モデルからノイズ/イメージペアのみによる完全オフライントレーニングを可能にする。 GET は FID スコアの点で 5 倍の ViT と一致するので,DEC アーキテクチャがこの能力に不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-12T07:28:40Z)
• One-step Diffusion with Distribution Matching Distillation [54.723565605974294]
  本稿では,拡散モデルを1ステップ画像生成器に変換する手法である分散マッチング蒸留(DMD)を紹介する。 約KLの発散を最小化することにより,拡散モデルと分布レベルで一致した一段階画像生成装置を強制する。 提案手法は,イメージネット64x64では2.62 FID,ゼロショットCOCO-30kでは11.49 FIDに到達した。
  論文  参考訳（メタデータ） (2023-11-30T18:59:20Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Momentum Adversarial Distillation: Handling Large Distribution Shifts in Data-Free Knowledge Distillation [65.28708064066764]
  モーメントム逆蒸留法(MAD)という簡便で効果的な方法を提案する。 MADは、ジェネレータの指数移動平均(EMA)コピーを保持し、ジェネレータとEMAジェネレータの合成サンプルを使用して生徒を訓練する。 ImageNetやPlaces365のような大きなデータセットを含む6つのベンチマークデータセットの実験では、競合する手法よりもMADの方が優れた性能を示している。
  論文  参考訳（メタデータ） (2022-09-21T13:53:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。