論文の概要: Continuous-Time Distribution Matching for Few-Step Diffusion Distillation
- arxiv url: http://arxiv.org/abs/2605.06376v1
- Date: Thu, 07 May 2026 14:56:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.921183
- Title: Continuous-Time Distribution Matching for Few-Step Diffusion Distillation
- Title(参考訳): 急速拡散蒸留における連続時間分布マッチング
- Authors: Tao Liu, Hao Yan, Mengting Chen, Taihang Hu, Zhengrong Yue, Zihao Pan, Jinsong Lan, Xiaoyong Zhu, Ming-Ming Cheng, Bo Zheng, Yaxing Wang,
- Abstract要約: 本稿では,CDM(Continuous-Time Distribution Matching)を導入し,DMDフレームワークを個別アンカーから連続最適化へ移行する。
まず、固定離散スケジュールをランダム長の動的連続スケジュールに置き換える。
第二に、学生の速度場を介して外挿された潜伏者に対してアクティブな軌道外マッチングを行う連続時間アライメント目的を提案する。
- 参考スコア(独自算出の注目度): 57.28746398500951
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Step distillation has become a leading technique for accelerating diffusion models, among which Distribution Matching Distillation (DMD) and Consistency Distillation are two representative paradigms. While consistency methods enforce self-consistency along the full PF-ODE trajectory to steer it toward the clean data manifold, vanilla DMD relies on sparse supervision at a few predefined discrete timesteps. This restricted discrete-time formulation and mode-seeking nature of the reverse KL divergence tends to exhibit visual artifacts and over-smoothed outputs, often necessitating complex auxiliary modules -- such as GANs or reward models -- to restore visual fidelity. In this work, we introduce Continuous-Time Distribution Matching (CDM), migrating the DMD framework from discrete anchoring to continuous optimization for the first time. CDM achieves this through two continuous-time designs. First, we replace the fixed discrete schedule with a dynamic continuous schedule of random length, so that distribution matching is enforced at arbitrary points along sampling trajectories rather than only at a few fixed anchors. Second, we propose a continuous-time alignment objective that performs active off-trajectory matching on latents extrapolated via the student's velocity field, improving generalization and preserving fine visual details. Extensive experiments on different architectures, including SD3-Medium and Longcat-Image, demonstrate that CDM provides highly competitive visual fidelity for few-step image generation without relying on complex auxiliary objectives. Code is available at https://github.com/byliutao/cdm.
- Abstract(参考訳): 拡散モデルを加速させる技術として,DMD(Dis Distribution Matching Distillation)とConsistency Distillation(Consistency Distillation)の2つのパラダイムがある。
整合性法は完全なPF-ODE軌道に沿って自己整合性を適用してクリーンなデータ多様体に向かわせるが、バニラMDDはいくつかの事前定義された離散時間ステップでのスパース監督に依存している。
この制限された離散時間定式化と逆KLのモード探索の性質は、視覚的アーティファクトと過度に滑らかな出力を示す傾向にあり、しばしば視覚的忠実さを回復するために、GANや報酬モデルのような複雑な補助モジュールを必要とする。
本研究では,CDM(Continuous-Time Distribution Matching)を導入し,DMDフレームワークを個別アンカーから連続最適化に移行する。
CDMは2つの連続的な設計によってこれを達成している。
まず、固定された離散スケジュールをランダム長の動的連続スケジュールに置き換え、少数の固定アンカーに留まらず、任意の点における分布マッチングをサンプリング軌道に沿って実施する。
第2に,学生の速度場を介して外挿された潜伏者に対して,アクティブなオフトラジェクトリマッチングを行い,一般化を改善し,視覚的細部を詳細に保存する,連続時間アライメント目的を提案する。
SD3-MediumやLongcat-Imageなど、さまざまなアーキテクチャに関する大規模な実験により、CDMは複雑な補助目的に頼らずに、数ステップの画像生成に対して非常に競争力のある視覚的忠実度を提供することを示した。
コードはhttps://github.com/byliutao/cdm.comで入手できる。
関連論文リスト
- Consistent Diffusion Language Models [22.253153649144476]
拡散言語モデル (DLMs) は、サブタイム、並列生成を約束するが、実用的ゲインは未解決のままである。
連続領域では、確率フローODEに沿った一貫性のトレーニングが拡散を加速する一般的なレシピである。
我々は,これらの橋を横断するパスイン予測をデノイザに訓練する新しい原理である,マルチパス離散整合性(DCMP)を導入する。
1つのCDLMの目的は、マスク拡散、連続一貫性モデル、進行/離散蒸留を1つの共通の見解の分析的限界または経験的近似として統一することである。
論文 参考訳(メタデータ) (2026-04-30T19:31:02Z) - From Flow to One Step: Real-Time Multi-Modal Trajectory Policies via Implicit Maximum Likelihood Estimation-based Distribution Distillation [18.70033095161235]
Indicit Likelihood Estimation (IMLE) を用いて条件付きフローマッチングの専門家を高速な単一ステップの学生に蒸留する枠組みを提案する。
双方向のチャンファー距離は、モードカバレッジと忠実度の両方を促進する設定レベルの目的を提供する。
統合認識エンコーダは、さらに多視点RGB、深度、点雲、プロプレセプションを幾何学的認識表現に統合する。
論文 参考訳(メタデータ) (2026-03-10T09:30:05Z) - FoSS: Modeling Long Range Dependencies and Multimodal Uncertainty in Trajectory Prediction via Fourier State Space Integration [21.39395366378851]
本稿では,周波数領域推論と線形時間列モデリングを融合した二分岐フレームワークFoSSを提案する。
Argoverse 1とArgoverse 2ベンチマークの実験では、FoSSが最先端の精度を実現し、22.5%、パラメータが40%以上削減された。
論文 参考訳(メタデータ) (2026-03-01T21:38:59Z) - DiffusionDriveV2: Reinforcement Learning-Constrained Truncated Diffusion Modeling in End-to-End Autonomous Driving [65.7087560656003]
エンドツーエンドの自動運転のための生成拡散モデルは、しばしばモード崩壊に悩まされる。
強化学習を利用して低品質モードを制約し,優れた軌道探索を行うDiffusionDriveV2を提案する。
これにより、そのコアであるガウス混合モデル固有の多重モード性を維持しながら、全体的な出力品質が大幅に向上する。
論文 参考訳(メタデータ) (2025-12-08T17:29:52Z) - Morphing Through Time: Diffusion-Based Bridging of Temporal Gaps for Robust Alignment in Change Detection [51.56484100374058]
既存の変更検出ネットワークを変更することなく空間的・時間的ロバスト性を改善するモジュールパイプラインを導入する。
拡散モジュールは、大きな外観ギャップをブリッジする中間変形フレームを合成し、RoMaは段階的に対応を推定できる。
LEVIR-CD、WHU-CD、DSIFN-CDの実験は、登録精度と下流変化検出の両方において一貫した利得を示した。
論文 参考訳(メタデータ) (2025-11-11T08:40:28Z) - Phased DMD: Few-step Distribution Matching Distillation via Score Matching within Subintervals [48.14879329270912]
フェーズドDMDは、Mixture-of-Expertsでフェーズワイド蒸留のアイデアを橋渡しする多段階蒸留フレームワークである。
位相MDDはプログレッシブな分布マッチングとサブインターバル内のスコアマッチングという2つの主要なアイデアに基づいて構築されている。
実験結果から,第2相DMDはDMDよりも出力の多様性を保ちつつ,重要な生成能力を保っていることが明らかとなった。
論文 参考訳(メタデータ) (2025-10-31T17:55:10Z) - Large Scale Diffusion Distillation via Score-Regularized Continuous-Time Consistency [60.74505433956616]
連続時間一貫性モデル(sCM)は理論的に原理化され、学術規模の拡散を加速するために実証的に強力である。
まず並列性互換なFlashAttention-2 JVPカーネルを開発し、100億以上のパラメータと高次元ビデオタスクを持つモデル上でsCMトレーニングを可能にする。
本稿では, スコア蒸留を長軸正則化器として組み込んだスコア規則化連続時間一貫性モデル(rCM)を提案する。
論文 参考訳(メタデータ) (2025-10-09T16:45:30Z) - Trajectory Consistency Distillation: Improved Latent Consistency Distillation by Semi-Linear Consistency Function with Trajectory Mapping [75.72212215739746]
軌道整合性蒸留(TCD)は、軌道整合性と戦略的サンプリングを含む。
TCDは低NFEで画像品質を著しく向上させるが、教師モデルと比較してより詳細な結果が得られる。
論文 参考訳(メタデータ) (2024-02-29T13:44:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。