論文の概要: Distribution Backtracking Builds A Faster Convergence Trajectory for Diffusion Distillation

• arxiv url: http://arxiv.org/abs/2408.15991v2
• Date: Wed, 25 Sep 2024 03:05:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 04:30:58.535519
• Title: Distribution Backtracking Builds A Faster Convergence Trajectory for Diffusion Distillation
• Title（参考訳）: 拡散蒸留におけるより高速な収束軌道の構築
• Authors: Shengyuan Zhang, Ling Yang, Zejian Li, An Zhao, Chenye Meng, Changyuan Yang, Guang Yang, Zhiyuan Yang, Lingyun Sun,
• Abstract要約: 本研究では,拡散モデルのサンプリング速度を高速化する分散バックトラック蒸留(DisBack)を提案する。 DisBackは既存の蒸留法よりも高速で収束性が高く、ImageNet 64x64データセットのFIDスコアは1.38である。
• 参考スコア（独自算出の注目度）: 19.88187051373436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accelerating the sampling speed of diffusion models remains a significant challenge. Recent score distillation methods distill a heavy teacher model into a student generator to achieve one-step generation, which is optimized by calculating the difference between the two score functions on the samples generated by the student model. However, there is a score mismatch issue in the early stage of the distillation process, because existing methods mainly focus on using the endpoint of pre-trained diffusion models as teacher models, overlooking the importance of the convergence trajectory between the student generator and the teacher model. To address this issue, we extend the score distillation process by introducing the entire convergence trajectory of teacher models and propose Distribution Backtracking Distillation (DisBack). DisBask is composed of two stages: Degradation Recording and Distribution Backtracking. Degradation Recording is designed to obtain the convergence trajectory of the teacher model, which records the degradation path from the trained teacher model to the untrained initial student generator. The degradation path implicitly represents the teacher model's intermediate distributions, and its reverse can be viewed as the convergence trajectory from the student generator to the teacher model. Then Distribution Backtracking trains a student generator to backtrack the intermediate distributions along the path to approximate the convergence trajectory of teacher models. Extensive experiments show that DisBack achieves faster and better convergence than the existing distillation method and accomplishes comparable generation performance, with FID score of 1.38 on ImageNet 64x64 dataset. Notably, DisBack is easy to implement and can be generalized to existing distillation methods to boost performance. Our code is publicly available on https://github.com/SYZhang0805/DisBack.
• Abstract（参考訳）: 拡散モデルのサンプリング速度の加速は依然として大きな課題である。 近年のスコア蒸留法では, 重度教師モデルを学生生成装置に蒸留し, 学生モデルで生成したサンプル上での2つのスコア関数の差を計算し, 一段階生成を実現する。 しかし, 蒸留プロセスの初期段階において, 既存の方法では, 事前学習した拡散モデルの終点を教師モデルとして利用することに集中しており, 学生生成者と教師モデルとの収束軌跡の重要性を見越して, スコアミスマッチの問題が指摘されている。 この問題に対処するため,教師モデルの収束軌道全体を導入して,スコア蒸留プロセスを拡張し,分散バックトラック蒸留(DisBack)を提案する。 DisBaskは2つのステージで構成されている。 劣化記録は教師モデルの収束軌跡を得るために設計され、教師モデルから教師モデルから未学習の学生生成者への劣化経路を記録する。 劣化経路は教師モデルの中間分布を暗黙的に表現し、その逆は生徒生成器から教師モデルへの収束軌道と見なすことができる。 次に、Distributed Backtrackingは、学生ジェネレータにパスに沿って中間分布をバックトラックするように訓練し、教師モデルの収束軌跡を近似する。 大規模な実験により、DisBackは既存の蒸留法よりも高速で収束性が高く、ImageNet 64x64データセットのFIDスコアが1.38である。 特に、DisBackは実装が容易で、既存の蒸留方法に一般化してパフォーマンスを向上させることができる。 私たちのコードはhttps://github.com/SYZhang0805/DisBack.comで公開されています。

関連論文リスト

• Improving Consistency Models with Generator-Induced Flows [16.049476783301724]
  一貫性モデルは、ニューラルネットワークの単一前方通過におけるスコアベース拡散の多段階サンプリングを模倣する。 それらは、一貫性の蒸留と一貫性のトレーニングの2つの方法を学ぶことができる。 本稿では,現在訓練されているモデルから得られた雑音データを対応する出力へ転送する新しい流れを提案する。
  論文  参考訳（メタデータ） (2024-06-13T20:22:38Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)
• SinSR: Diffusion-Based Image Super-Resolution in a Single Step [119.18813219518042]
  拡散モデルに基づく超解像(SR)法は有望な結果を示す。 しかし、それらの実践的応用は、必要な推論ステップのかなりの数によって妨げられている。 本稿では,SinSRという単一ステップのSR生成を実現するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T16:21:29Z)
• Dual Student Networks for Data-Free Model Stealing [79.67498803845059]
  主な課題は、パラメータにアクセスせずにターゲットモデルの勾配を推定し、多様なトレーニングサンプルを生成することである。 そこで本研究では,2人の学生が左右対称に学習し,学生が反対するサンプルを生成するための基準を提案する。 我々の新しい最適化フレームワークは、目標モデルのより正確な勾配推定と、ベンチマーク分類データセットの精度向上を提供する。
  論文  参考訳（メタデータ） (2023-09-18T18:11:31Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• ReDi: Efficient Learning-Free Diffusion Inference via Trajectory Retrieval [68.7008281316644]
  ReDiは学習不要なRetrievalベースの拡散サンプリングフレームワークである。 ReDi はモデル推論効率を 2 倍高速化することを示した。
  論文  参考訳（メタデータ） (2023-02-05T03:01:28Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。