論文の概要: Data-free Multistep Diffusion Distillation

• arxiv url: http://arxiv.org/abs/2610.19305v1
• Date: Tue, 13 Oct 2026 23:32:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.853077
• Title: Data-free Multistep Diffusion Distillation
• Title（参考訳）: データフリー多段階拡散蒸留
• Abstract要約: 1段階の拡散蒸留は、小さなデータセットでは高い性能を達成するが、高解像度または複雑なテキスト・ツー・イメージ設定には不十分である。 学生分布毎に専用適応型ネットワークを割り当てるPMDD(Progressive Multistep Data-free Distillation)を提案する。 大規模な実験により、PMDDは多段階予算毎にデータフリーな数ステップベースラインと一致または性能を向上することが示された。
• 参考スコア（独自算出の注目度）: 23.03989679077942
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One-step diffusion distillation achieves strong performance on small datasets but remains insufficient for high-resolution or complex text-to-image settings. Extending to multistep distillation often requires training data, suffers from early-step degradation, inconsistent outputs across sampling budgets, and incurs high computational cost. We identify that these limitations stem from simultaneous training, where a single adapted network approximates multiple score functions of different student distributions at once, causing biased distribution matching and unstable optimization. Therefore, we propose Progressive Multistep Data-free Distillation (PMDD), which assigns a dedicated adapted network per student distribution while avoiding the memory overhead of maintaining multiple adapted networks. Combined with a stage-wise unforget loss to preserve earlier-step generations, PMDD reduces optimization bias in the student, provides faster convergence, and a single unified model that supports multiple inference budgets. Extensive experiments show that PMDD matches or outperforms data-free few-step baselines at every multistep budget, reaches FID 1.99 on ImageNet 64x64 in two steps, below its 512-NFE teacher (2.32), and achieves FID 7.76 on zero-shot COCO 512x512, while requiring 4-5x less training compute than data-free DMDv2 to support three inference budgets.
• Abstract（参考訳）: 1段階の拡散蒸留は、小さなデータセットでは高い性能を達成するが、高解像度または複雑なテキスト・ツー・イメージ設定には不十分である。 多段階蒸留への拡張は、しばしば訓練データを必要とし、早期段階の劣化、サンプリング予算間の不整合出力に悩まされ、高い計算コストを発生させる。 これらの制限は、一つの適応ネットワークが学生分布の複数のスコア関数を一度に近似し、バイアス分布マッチングと不安定な最適化を引き起こす、同時学習に由来する。 そこで我々は,複数の適応型ネットワークのメモリオーバーヘッドを回避しつつ,学生分布毎に専用の適応型ネットワークを割り当てるプログレッシブ・マルチステップ・データフリー蒸留(PMDD)を提案する。 PMDDは、初期段階の世代を保存するための段階的な未忘れの損失と組み合わせて、学生の最適化バイアスを減らし、より高速な収束を提供し、複数の推論予算をサポートする単一の統一モデルを提供する。 PMDDはマルチステップの予算ごとにデータフリーな数ステップのベースラインにマッチし、ImageNet 64x64でFID 1.99に到達し、512-NFEの教師(2.32)を下回り、ゼロショットのCOCO 512x512でFID 7.76を達成した。

関連論文リスト

• Improved Distributional Diffusion Models [76.7431857619657]
  分散拡散モデルでは、標準的な平均予測デノイザを、スコアリングルールの目的によって訓練された固有分布デノイザに置き換える。 本稿では, 時間依存型スコアリングルールのスケジュールを, サーモット・ビロリ2024の動的レギュレーションによって通知する。 4段目で4.48 FID、50段目で2.38 FIDをDiT-XL/2で達成した。
  論文  参考訳（メタデータ） (2026-09-29T09:41:56Z)
• DiffPro: Joint Timestep and Layer-Wise Precision Optimization for Efficient Diffusion Inference [1.6112309942944745]
  DiffProはデプロイに使用する正確な整数カーネルと連携し、Diffusion Transformer(DiT)のタイムステップと層ごとの精度を共同調整することで、トレーニングなしでレイテンシとメモリを削減できる。 実験では、DiffProは最大6.25倍のモデル圧縮、50%のタイムステップ、標準ベンチマークでDelta FID = 10の2.8倍高速な推論を実現している。
  論文  参考訳（メタデータ） (2025-11-14T16:14:58Z)
• Learning Few-Step Diffusion Models by Trajectory Distribution Matching [18.229753357571116]
  トラジェクティブ・ディストリビュータ・マッチング(TDM)は、トラジェクタ・マッチングとトラジェクタ・マッチングの強さを組み合わせた統合蒸留パラダイムである。 我々は,学習目標を異なるステップで分離し,より調整可能なサンプリングを可能にする,サンプリングステップ対応の目標を開発する。 我々のモデルであるTDMは、様々なバックボーン上で既存の手法よりも優れており、優れた品質を提供し、トレーニングコストを大幅に削減する。
  論文  参考訳（メタデータ） (2025-03-09T15:53:49Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)
• ACT-Diffusion: Efficient Adversarial Consistency Training for One-step Diffusion Models [59.90959789767886]
  整合性トレーニング損失の最適化は,目標分布と生成分布とのワッサーシュタイン距離を最小化することを示す。 CIFAR10 と ImageNet 64$times$64 と LSUN Cat 256$times$256 データセットの FID スコアを改善する。
  論文  参考訳（メタデータ） (2023-11-23T16:49:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。