論文の概要: Teacher-Feature Drifting: One-Step Diffusion Distillation with Pretrained Diffusion Representations

• arxiv url: http://arxiv.org/abs/2605.07327v1
• Date: Fri, 08 May 2026 06:33:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.861171
• Title: Teacher-Feature Drifting: One-Step Diffusion Distillation with Pretrained Diffusion Representations
• Title（参考訳）: 教師機能ドリフト:1ステップ拡散蒸留と事前拡散表現
• Authors: Yuan Zhang, Chenyi Li, Guoqing Ma, Jiajun Zha, Yuanming Yang, Bo Wang, Wei Tang, Wenbo Li, Haoyang Huang, Nan Duan,
• Abstract要約: また, 一段蒸留を簡略化するために, 一段のドリフト損失を直接利用できることが示唆された。 追加の事前訓練された特徴抽出器に依存するオリジナルのドリフトモデルとは異なり、事前訓練された教師モデルの中間的隠れ状態が特徴表現として使用される。 提案手法は、画像品質と多様性の競争力のあるワンステップ生成を実現し、ImageNet-64$times$64およびSDXL18.4のFIDスコアを1.58とする。
• 参考スコア（独自算出の注目度）: 48.0169045294604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sampling from pretrained diffusion and flow-matching models typically requires many forward passes to generate diverse and high-fidelity images. Existing distillation methods often rely on multiple auxiliary networks, carefully designed training stages, or complex optimization pipelines. In this work, we revisit the recently proposed Drifting Model objective and show that a single drifting loss can be directly used to simplify one step distillation. A key observation is that the pretrained diffusion teacher itself already provides a strong representation space. Unlike the original Drifting Model, which relies on an additional pretrained feature extractor, we use intermediate hidden states of the pretrained teacher model as the feature representation. This removes the need for training or introducing an extra representation network while preserving a semantically meaningful feature geometry for drifting. Furthermore, we introduce a lightweight mode coverage loss to mitigate mode collapse during distillation and encourage the student generator to cover diverse teacher-supported regions. Extensive experiments on ImageNet and SDXL demonstrate that our method achieves efficient one step generation with competitive image quality and diversity, achieving FID scores of 1.58 on ImageNet-64$\times$64 and 18.4 on SDXL, while substantially simplifying the overall distillation framework.
• Abstract（参考訳）: 事前訓練された拡散と流れマッチングモデルからのサンプリングは通常、多彩で高忠実な画像を生成するために多くの前方通過を必要とする。 既存の蒸留法は、しばしば複数の補助的なネットワーク、慎重に設計された訓練段階、複雑な最適化パイプラインに依存している。 本研究では,最近提案したドリフトモデル目標を再検討し,一段蒸留を簡略化するために,単一のドリフト損失を直接利用できることを示す。 鍵となる観察は、事前訓練された拡散教師自身が既に強力な表現空間を提供していることである。 追加の事前訓練された特徴抽出器に依存するオリジナルのドリフトモデルとは異なり、事前訓練された教師モデルの中間的隠れ状態が特徴表現として使用される。 これにより、ドリフトのための意味論的に意味のある特徴幾何学を維持しながら、トレーニングや余分な表現ネットワークの導入が不要になる。 さらに,蒸留時のモード崩壊を軽減し,多様な教師支援地域をカバーすることを促すために,軽量モードカバレッジ損失を導入する。 ImageNet-64$\times$64, SDXL$18.4ではFIDスコア1.58, SDXLではFIDスコア1.58, SDXLでは18.4, 全体の蒸留フレームワークは大幅に簡略化された。

関連論文リスト

• Diffusion As Self-Distillation: End-to-End Latent Diffusion In One Model [53.77953728335891]
  ラテント拡散モデルは、独立したエンコーダ、デコーダ、拡散ネットワークからなる複雑な3部アーキテクチャに依存している。 本研究では,潜伏空間を安定化させる学習目標に重要な変更を加えた新たなフレームワークであるDeffusion as Self-Distillation (DSD)を提案する。 このアプローチにより、単一のネットワークの安定したエンドツーエンドトレーニングが初めて実現され、同時にエンコード、デコード、拡散の実行を学ぶことができる。
  論文  参考訳（メタデータ） (2025-11-18T17:58:16Z)
• Revisiting Diffusion Models: From Generative Pre-training to One-Step Generation [2.3359837623080613]
  本研究は,拡散訓練を生成前訓練の一形態と見なすことができることを示す。 パラメータの85%が凍結した事前学習モデルの微調整により、ワンステップ生成モデルを作成する。
  論文  参考訳（メタデータ） (2025-06-11T03:55:26Z)
• Towards Training One-Step Diffusion Models Without Distillation [72.80423908458772]
  我々は,教師のスコア管理を完全に禁止する,新しい研修方法のファミリーを紹介する。 教師の重みによる学生モデルの初期化は依然として重要な課題である。
  論文  参考訳（メタデータ） (2025-02-11T23:02:14Z)
• Distribution Backtracking Builds A Faster Convergence Trajectory for Diffusion Distillation [19.88187051373436]
  本研究では,拡散モデルのサンプリング速度を高速化する分散バックトラック蒸留(DisBack)を提案する。 DisBackは既存の蒸留法よりも高速で収束性が高く、ImageNet 64x64データセットのFIDスコアは1.38である。
  論文  参考訳（メタデータ） (2024-08-28T17:58:17Z)
• Plug-and-Play Diffusion Distillation [14.359953671470242]
  誘導拡散モデルのための新しい蒸留手法を提案する。 オリジナルのテキスト・ツー・イメージモデルが凍結されている間、外部の軽量ガイドモデルがトレーニングされる。 提案手法は,クラス化なしガイド付きラテント空間拡散モデルの推論をほぼ半減することを示す。
  論文  参考訳（メタデータ） (2024-06-04T04:22:47Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。