論文の概要: Causal-rCM: A Unified Teacher-Forcing and Self-Forcing Open Recipe for Autoregressive Diffusion Distillation in Streaming Video Generation and Interactive World Models

• arxiv url: http://arxiv.org/abs/2606.25473v1
• Date: Wed, 24 Jun 2026 06:58:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.251599
• Title: Causal-rCM: A Unified Teacher-Forcing and Self-Forcing Open Recipe for Autoregressive Diffusion Distillation in Streaming Video Generation and Interactive World Models
• Title（参考訳）: Causal-rCM: ストリーミングビデオ生成と対話型世界モデルにおける自己回帰拡散蒸留のための教師強制と自己強制のオープンレシピ
• Authors: Kaiwen Zheng, Guande He, Min Zhao, Jintao Zhang, Huayu Chen, Jianfei Chen, Chen-Hsuan Lin, Ming-Yu Liu, Jun Zhu, Qianli Ma,
• Abstract要約: 本稿では,拡散蒸留と因果訓練のための,先進的で統一的でスケーラブルなアルゴリズム非構造オープンレシピであるCausal-rCMを紹介する。 我々は,学習用合成データのみを用いて,フレームワイドおよびチャンクワイドの両方で最先端のストリーミングビデオ生成性能を実現する。
• 参考スコア（独自算出の注目度）: 49.369312232769154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive video diffusion with causal diffusion transformers has emerged as a major paradigm for real-time streaming video generation and action-conditioned interactive world models. In this work, we extend rCM, an advanced diffusion distillation framework, to autoregressive video diffusion. The core philosophy of rCM lies in the complementarity between forward and reverse divergences, represented by consistency models (CMs) and distribution matching distillation (DMD), respectively, in diffusion distillation. This philosophy naturally carries over to the autoregressive setting, where teacher-forcing (TF) provides an offline, forward-divergence causal training paradigm, while self-forcing (SF) corresponds to an on-policy, reverse-divergence refinement. Our contributions are: (1) through extensive experiments, we show that teacher-forcing CM is currently the best complement to self-forcing DMD as an initialization strategy (2) we present the first implementation of teacher-forcing-based continuous-time CMs (e.g., sCM/MeanFlow) for autoregressive video diffusion, enabled by our custom-mask FlashAttention-2 JVP kernel, achieving 10$\times$ faster convergence compared to discrete-time CMs (dCMs) (3) we introduce Causal-rCM, a leading, unified, and scalable algorithm-infrastructure open recipe for diffusion distillation and causal training (4) we achieve state-of-the-art streaming video generation performance in both frame-wise and chunk-wise settings, using only synthetic data for training. Notably, our distilled 2-step causal Wan2.1-1.3B model achieves a VBench-T2V score of 84.63 with only 1 or 2 sampling steps. We further apply Causal-rCM to Cosmos 3, an advanced omnimodal world foundation model for physical AI with action-conditioned generation capability, enabling an interactive world model.
• Abstract（参考訳）: 因果拡散変換器を用いた自己回帰ビデオ拡散は、リアルタイムストリーミングビデオ生成とアクション条件の対話的世界モデルの主要なパラダイムとして浮上している。 本研究では, 自己回帰ビデオ拡散に先進的な拡散蒸留フレームワークであるrCMを拡張した。 rCMの中核となる哲学は、拡散蒸留においてそれぞれ整合性モデル(CM)と分布整合蒸留(DMD)で表される前方と逆の分岐の相補性にある。 この哲学は、教師強制(TF)がオフラインで前向きな因果訓練のパラダイムを提供し、一方自己強制(SF)は、政治上、逆方向の洗練に対応する。 我々は,(1)教師強制型CMが,現在,自己強制型DMDを初期化戦略として補完していることを示す。(2) 教師強制型連続時間CM(例: sCM/MeanFlow)を,我々のカスタムマスク FlashAttention-2 JVP カーネルで実現し,離散時間CM (dCMs) と比較して 10$\times$ の高速収束を実現し,(3) 蒸留・因果学習のための,先進的で統一的でスケーラブルなアルゴリズム非構造なオープンレシピであるCausal-rCMを紹介する。 特に, 蒸留した2段階の因果Wan2.1-1.3Bモデルでは, VBench-T2Vスコアが84.63であり, サンプリング工程は1段階か2段階のみである。 さらに、動作条件付き生成機能を備えた物理AIのための先進的一様世界基盤モデルであるCosmos 3にCausal-rCMを適用し、インタラクティブな世界モデルを実現する。

関連論文リスト

• Data-Forcing Distillation: Restoring Diversity and Fidelity in Few-Step Video Generation [25.352409052792122]
  単行のコード変更だけでMDDの多様性と忠実性を回復する単純なポストトレーニングフレームワークであるData-Forcing Distillation (DFD)を提案する。 我々は,我々のフレームワークの詳細な理論的分析を行い,テキスト・ツー・ビデオ,画像・ツー・ビデオ,自動回帰ビデオ生成に対する我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2026-06-16T20:38:30Z)
• teasr: training-efficient any-step diffusion transformer for real-world image super-resolution [10.733502031936958]
  TEASRはReal-ISRのためのトレーニング効率の良い任意のステップ拡散フレームワークである。 我々のキーとなる考え方は、単一拡散モデル内で自己逆蒸留を行うことである。 ノイズレベルの一段階生成を安定化する時間ステップ対応補正戦略を提案する。
  論文  参考訳（メタデータ） (2026-06-15T04:02:37Z)
• Transition Matching Distillation for Fast Video Generation [63.1049790376783]
  本稿では,ビデオ拡散モデルを効率の良い数ステップ生成器に蒸留するための新しいフレームワークであるTransition Matching Distillation (TMD)を提案する。 TMDは拡散モデルの多段階認知軌道と数段階の確率遷移過程とを一致させる。 TMDは、生成速度と視覚的品質の間の柔軟性と強力なトレードオフを提供する。
  論文  参考訳（メタデータ） (2026-01-14T21:30:03Z)
• Large Scale Diffusion Distillation via Score-Regularized Continuous-Time Consistency [60.74505433956616]
  連続時間一貫性モデル(sCM)は理論的に原理化され、学術規模の拡散を加速するために実証的に強力である。 まず並列性互換なFlashAttention-2 JVPカーネルを開発し、100億以上のパラメータと高次元ビデオタスクを持つモデル上でsCMトレーニングを可能にする。 本稿では, スコア蒸留を長軸正則化器として組み込んだスコア規則化連続時間一貫性モデル(rCM)を提案する。
  論文  参考訳（メタデータ） (2025-10-09T16:45:30Z)
• One Diffusion Step to Real-World Super-Resolution via Flow Trajectory Distillation [60.54811860967658]
  FluxSRはフローマッチングモデルに基づく新しい一段階拡散リアルISRである。 まず,フロートラジェクトリ蒸留(FTD)を導入し,多段階のフローマッチングモデルを1段階のリアルISRに蒸留する。 第2に、画像リアリズムを改善し、生成画像の高周波アーティファクト問題に対処するために、テレビLPIPSを知覚的損失として提案する。
  論文  参考訳（メタデータ） (2025-02-04T04:11:29Z)
• From Slow Bidirectional to Fast Autoregressive Video Diffusion Models [48.35054927704544]
  現在のビデオ拡散モデルは、印象的な生成品質を実現するが、双方向の注意依存のため、インタラクティブなアプリケーションに苦戦する。 この制限には、事前訓練された双方向拡散変換器を自己回帰変換器に適応させ、フレームをオンザフライで生成することで対処する。 我々のモデルは、VBench-Longベンチマークで84.27点のスコアを達成し、以前のすべてのビデオ生成モデルを上回った。
  論文  参考訳（メタデータ） (2024-12-10T18:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。