論文の概要: Distribution Backtracking Builds A Faster Convergence Trajectory for Diffusion Distillation

• arxiv url: http://arxiv.org/abs/2408.15991v2
• Date: Wed, 25 Sep 2024 03:05:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 04:30:58.535519
• Title: Distribution Backtracking Builds A Faster Convergence Trajectory for Diffusion Distillation
• Title（参考訳）: 拡散蒸留におけるより高速な収束軌道の構築
• Authors: Shengyuan Zhang, Ling Yang, Zejian Li, An Zhao, Chenye Meng, Changyuan Yang, Guang Yang, Zhiyuan Yang, Lingyun Sun,
• Abstract要約: 本研究では,拡散モデルのサンプリング速度を高速化する分散バックトラック蒸留(DisBack)を提案する。 DisBackは既存の蒸留法よりも高速で収束性が高く、ImageNet 64x64データセットのFIDスコアは1.38である。
• 参考スコア（独自算出の注目度）: 19.88187051373436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accelerating the sampling speed of diffusion models remains a significant challenge. Recent score distillation methods distill a heavy teacher model into a student generator to achieve one-step generation, which is optimized by calculating the difference between the two score functions on the samples generated by the student model. However, there is a score mismatch issue in the early stage of the distillation process, because existing methods mainly focus on using the endpoint of pre-trained diffusion models as teacher models, overlooking the importance of the convergence trajectory between the student generator and the teacher model. To address this issue, we extend the score distillation process by introducing the entire convergence trajectory of teacher models and propose Distribution Backtracking Distillation (DisBack). DisBask is composed of two stages: Degradation Recording and Distribution Backtracking. Degradation Recording is designed to obtain the convergence trajectory of the teacher model, which records the degradation path from the trained teacher model to the untrained initial student generator. The degradation path implicitly represents the teacher model's intermediate distributions, and its reverse can be viewed as the convergence trajectory from the student generator to the teacher model. Then Distribution Backtracking trains a student generator to backtrack the intermediate distributions along the path to approximate the convergence trajectory of teacher models. Extensive experiments show that DisBack achieves faster and better convergence than the existing distillation method and accomplishes comparable generation performance, with FID score of 1.38 on ImageNet 64x64 dataset. Notably, DisBack is easy to implement and can be generalized to existing distillation methods to boost performance. Our code is publicly available on https://github.com/SYZhang0805/DisBack.
• Abstract（参考訳）: 拡散モデルのサンプリング速度の加速は依然として大きな課題である。 近年のスコア蒸留法では, 重度教師モデルを学生生成装置に蒸留し, 学生モデルで生成したサンプル上での2つのスコア関数の差を計算し, 一段階生成を実現する。 しかし, 蒸留プロセスの初期段階において, 既存の方法では, 事前学習した拡散モデルの終点を教師モデルとして利用することに集中しており, 学生生成者と教師モデルとの収束軌跡の重要性を見越して, スコアミスマッチの問題が指摘されている。 この問題に対処するため,教師モデルの収束軌道全体を導入して,スコア蒸留プロセスを拡張し,分散バックトラック蒸留(DisBack)を提案する。 DisBaskは2つのステージで構成されている。 劣化記録は教師モデルの収束軌跡を得るために設計され、教師モデルから教師モデルから未学習の学生生成者への劣化経路を記録する。 劣化経路は教師モデルの中間分布を暗黙的に表現し、その逆は生徒生成器から教師モデルへの収束軌道と見なすことができる。 次に、Distributed Backtrackingは、学生ジェネレータにパスに沿って中間分布をバックトラックするように訓練し、教師モデルの収束軌跡を近似する。 大規模な実験により、DisBackは既存の蒸留法よりも高速で収束性が高く、ImageNet 64x64データセットのFIDスコアが1.38である。 特に、DisBackは実装が容易で、既存の蒸留方法に一般化してパフォーマンスを向上させることができる。 私たちのコードはhttps://github.com/SYZhang0805/DisBack.comで公開されています。

関連論文リスト

• Warmup-Distill: Bridge the Distribution Mismatch between Teacher and Student before Knowledge Distillation [84.38105530043741]
  本稿では, 学生の蒸留を教員の蒸留と整合させて, 蒸留に先立って行うワームアップ蒸留法を提案する。 7つのベンチマークの実験は、ウォームアップ・ディスティルが蒸留に適したウォームアップの学生を提供することを示した。
  論文  参考訳（メタデータ） (2025-02-17T12:58:12Z)
• Towards Training One-Step Diffusion Models Without Distillation [72.80423908458772]
  この蒸留工程を使わずに, 一段階生成モデルを直接訓練できることが示される。 本稿では, スコア推定に頼ることなく, 競争力のある結果が得られる蒸留法群を提案する。
  論文  参考訳（メタデータ） (2025-02-11T23:02:14Z)
• Single Trajectory Distillation for Accelerating Image and Video Style Transfer [22.304420035048942]
  拡散に基づくスタイリング手法は、通常、イメージ・ツー・イメージやビデオ・ツー・ビデオのタスクにおいて、特定の部分的なノイズ状態から逸脱する。 特定部分雑音状態から始まる単一軌道蒸留(STD)を提案する。 提案手法は,スタイルの類似性や美的評価の観点から,既存の加速度モデルを超えている。
  論文  参考訳（メタデータ） (2024-12-25T16:40:23Z)
• Inference-Time Diffusion Model Distillation [59.350789627086456]
  本稿では,新しい推論時間蒸留フレームワークであるDistillation++を紹介する。 条件付きサンプリングの最近の進歩に触発されて,本手法は学生モデルサンプリングを近位最適化問題として再放送する。 逆サンプリング中の蒸留最適化を統合し,教師指導とみなすことができる。
  論文  参考訳（メタデータ） (2024-12-12T02:07:17Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• ReDi: Efficient Learning-Free Diffusion Inference via Trajectory Retrieval [68.7008281316644]
  ReDiは学習不要なRetrievalベースの拡散サンプリングフレームワークである。 ReDi はモデル推論効率を 2 倍高速化することを示した。
  論文  参考訳（メタデータ） (2023-02-05T03:01:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。