論文の概要: Score identity Distillation: Exponentially Fast Distillation of Pretrained Diffusion Models for One-Step Generation

• arxiv url: http://arxiv.org/abs/2404.04057v3
• Date: Fri, 24 May 2024 17:20:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 20:37:11.410137
• Title: Score identity Distillation: Exponentially Fast Distillation of Pretrained Diffusion Models for One-Step Generation
• Title（参考訳）: スコアアイデンティティ蒸留:1ステップ生成のための予混合拡散モデルの指数的高速蒸留
• Authors: Mingyuan Zhou, Huangjie Zheng, Zhendong Wang, Mingzhang Yin, Hai Huang,
• Abstract要約: Score Identity Distillation (SiD) は、事前学習した拡散モデルの生成能力を1ステップ生成器に蒸留する革新的なデータフリー手法である。 SiDは、蒸留中のFr'echet開始距離(FID)を指数的に高速に減少させるだけでなく、元の教師拡散モデルのFID性能に近づいたり、超えたりする。
• 参考スコア（独自算出の注目度）: 61.03530321578825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Score identity Distillation (SiD), an innovative data-free method that distills the generative capabilities of pretrained diffusion models into a single-step generator. SiD not only facilitates an exponentially fast reduction in Fr\'echet inception distance (FID) during distillation but also approaches or even exceeds the FID performance of the original teacher diffusion models. By reformulating forward diffusion processes as semi-implicit distributions, we leverage three score-related identities to create an innovative loss mechanism. This mechanism achieves rapid FID reduction by training the generator using its own synthesized images, eliminating the need for real data or reverse-diffusion-based generation, all accomplished within significantly shortened generation time. Upon evaluation across four benchmark datasets, the SiD algorithm demonstrates high iteration efficiency during distillation and surpasses competing distillation approaches, whether they are one-step or few-step, data-free, or dependent on training data, in terms of generation quality. This achievement not only redefines the benchmarks for efficiency and effectiveness in diffusion distillation but also in the broader field of diffusion-based generation. The PyTorch implementation is available at https://github.com/mingyuanzhou/SiD
• Abstract（参考訳）: Score Identity Distillation (SiD) は、事前学習した拡散モデルの生成能力を1ステップ生成器に蒸留する革新的なデータフリー手法である。 SiDは、蒸留中のFr'echet開始距離(FID)を指数的に高速に減少させるだけでなく、元の教師拡散モデルのFID性能に近づいたり、超えたりする。 半単純分布として前方拡散過程を再構成することにより、3つのスコア関連アイデンティティを活用して革新的な損失機構を創出する。 この機構は、独自の合成画像を用いてジェネレータを訓練することにより、高速なFID削減を実現する。 4つのベンチマークデータセットで評価すると、SiDアルゴリズムは蒸留中の高いイテレーション効率を示し、生成品質の観点から1段階か2段階か、データフリーか、あるいはトレーニングデータに依存しているか、競合する蒸留アプローチを超越する。 この成果は、拡散蒸留における効率と有効性のためのベンチマークを再定義するだけでなく、拡散ベース生成の幅広い分野にも及んでいる。 PyTorchの実装はhttps://github.com/mingyuanzhou/SiDで公開されている。

関連論文リスト

• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• Distilling Diffusion Models into Conditional GANs [90.76040478677609]
  複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。 E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。 我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
  論文  参考訳（メタデータ） (2024-05-09T17:59:40Z)
• One-Step Diffusion Distillation via Deep Equilibrium Models [64.11782639697883]
  本稿では,拡散モデルを初期雑音から得られた画像に直接蒸留する簡易かつ効果的な方法を提案する。 本手法は,拡散モデルからノイズ/イメージペアのみによる完全オフライントレーニングを可能にする。 GET は FID スコアの点で 5 倍の ViT と一致するので,DEC アーキテクチャがこの能力に不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-12T07:28:40Z)
• Efficient Dataset Distillation via Minimax Diffusion [24.805804922949832]
  本稿では,これらの基準を対象とする拡散過程の柔軟性を示す階層的拡散制御として,プロセスの理論モデルを提案する。 ImageWoofの100-IPC設定では,従来手法の蒸留時間は20分の1以下であったが,性能は向上した。
  論文  参考訳（メタデータ） (2023-11-27T04:22:48Z)
• SinSR: Diffusion-Based Image Super-Resolution in a Single Step [119.18813219518042]
  拡散モデルに基づく超解像(SR)法は有望な結果を示す。 しかし、それらの実践的応用は、必要な推論ステップのかなりの数によって妨げられている。 本稿では,SinSRという単一ステップのSR生成を実現するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T16:21:29Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Explicit and Implicit Knowledge Distillation via Unlabeled Data [5.702176304876537]
  高速な計算機生成装置を代替する効率的な未ラベルサンプル選択法を提案する。 また,データ領域シフトによるラベルノイズを抑制するためのクラスドロップ機構を提案する。 実験結果から,本手法が他の最先端手法よりも高速に収束し,精度が向上できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-17T09:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。