論文の概要: Image-Free Timestep Distillation via Continuous-Time Consistency with Trajectory-Sampled Pairs

• arxiv url: http://arxiv.org/abs/2511.20410v1
• Date: Tue, 25 Nov 2025 15:36:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.530142
• Title: Image-Free Timestep Distillation via Continuous-Time Consistency with Trajectory-Sampled Pairs
• Title（参考訳）: トラジェクトリサンプリングペアを用いた連続時間一貫性による画像自由時間蒸留
• Authors: Bao Tang, Shuai Zhang, Yueting Zhu, Jijun Xiang, Xin Yang, Li Yu, Wenyu Liu, Xinggang Wang,
• Abstract要約: 本研究では, 連続時間連続蒸留におけるトラジェクティブ-バックワード整合性モデル(TBCM)を提案する。 VAEエンコーディングや大規模データセットを必要とする従来の方法とは異なり、我々の自己完結蒸留パラダイムは効率と簡易性の両方を著しく改善する。 TBCMは1ステップでMJHQ-30kで6.52 FIDと28.08 CLIPのスコアを達成し、Sana-Sprintと比較してトレーニング時間を約40%短縮した。
• 参考スコア（独自算出の注目度）: 44.222818959759024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Timestep distillation is an effective approach for improving the generation efficiency of diffusion models. The Consistency Model (CM), as a trajectory-based framework, demonstrates significant potential due to its strong theoretical foundation and high-quality few-step generation. Nevertheless, current continuous-time consistency distillation methods still rely heavily on training data and computational resources, hindering their deployment in resource-constrained scenarios and limiting their scalability to diverse domains. To address this issue, we propose Trajectory-Backward Consistency Model (TBCM), which eliminates the dependence on external training data by extracting latent representations directly from the teacher model's generation trajectory. Unlike conventional methods that require VAE encoding and large-scale datasets, our self-contained distillation paradigm significantly improves both efficiency and simplicity. Moreover, the trajectory-extracted samples naturally bridge the distribution gap between training and inference, thereby enabling more effective knowledge transfer. Empirically, TBCM achieves 6.52 FID and 28.08 CLIP scores on MJHQ-30k under one-step generation, while reducing training time by approximately 40% compared to Sana-Sprint and saving a substantial amount of GPU memory, demonstrating superior efficiency without sacrificing quality. We further reveal the diffusion-generation space discrepancy in continuous-time consistency distillation and analyze how sampling strategies affect distillation performance, offering insights for future distillation research. GitHub Link: https://github.com/hustvl/TBCM.
• Abstract（参考訳）: 時間段階蒸留は拡散モデルの生成効率向上に有効な手法である。 Consistency Model(CM)は、軌道に基づくフレームワークであり、その強力な理論基盤と高品質な数ステップ生成によって、大きなポテンシャルを示す。 それでも、現在の連続時間一貫性蒸留法は、トレーニングデータと計算資源に大きく依存しており、リソース制約のあるシナリオへの展開を妨げ、スケーラビリティを多様なドメインに制限している。 そこで本研究では,教師モデルの生成軌跡から直接潜在表現を抽出することにより,外部トレーニングデータへの依存を解消するトラジェクトリ・バック・コンシステンシー・モデル(TBCM)を提案する。 VAEエンコーディングや大規模データセットを必要とする従来の方法とは異なり、我々の自己完結蒸留パラダイムは効率と簡易性の両方を著しく改善する。 さらに、軌道抽出サンプルは、訓練と推論の間の分配ギャップを自然に橋渡しし、より効果的な知識伝達を可能にする。 TBCMは1ステップでMJHQ-30kで6.52 FIDと28.08 CLIPスコアを達成すると同時に、Sana-Sprintと比較してトレーニング時間を約40%削減し、かなりのGPUメモリを節約し、品質を犠牲にすることなく優れた効率を実現している。 さらに, 連続的連続蒸留における拡散縮退空間の差を明らかにし, サンプリング戦略が蒸留性能に与える影響を解析し, 今後の蒸留研究への洞察を提供する。 GitHub Link: https://github.com/hustvl/TBCM.com

関連論文リスト

• Improving Vector-Quantized Image Modeling with Latent Consistency-Matching Diffusion [55.185588994883226]
  VQ-LCMDは、学習を安定させる埋め込み空間内の連続空間潜在拡散フレームワークである。 VQ-LCMDは、関節埋め込み拡散変動下界と整合整合性(CM)損失を組み合わせた新しいトレーニング目標を使用する。 実験により,提案したVQ-LCMDは離散状態潜伏拡散モデルと比較して,FFHQ,LSUN教会,LSUNベッドルームにおいて優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-10-18T09:12:33Z)
• Score identity Distillation: Exponentially Fast Distillation of Pretrained Diffusion Models for One-Step Generation [61.03530321578825]
  Score Identity Distillation (SiD) は、事前学習した拡散モデルの生成能力を1ステップ生成器に蒸留する革新的なデータフリー手法である。 SiDは、蒸留中のFr'echet開始距離(FID)を指数的に高速に減少させるだけでなく、元の教師拡散モデルのFID性能に近づいたり、超えたりする。
  論文  参考訳（メタデータ） (2024-04-05T12:30:19Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。