論文の概要: Direct Forcing: A Single-Stage Training Recipe for Few-Step Autoregressive Text-to-Video Generation
- arxiv url: http://arxiv.org/abs/2610.30861v1
- Date: Thu, 22 Oct 2026 07:41:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.271835
- Title: Direct Forcing: A Single-Stage Training Recipe for Few-Step Autoregressive Text-to-Video Generation
- Title(参考訳): ダイレクトフォース: ワンステップ自動回帰テキスト・ビデオ生成のための単段階トレーニングレシピ
- Abstract要約: 数ステップの自動回帰生成は低レイテンシのストリーミングを可能にするが、トレーニングパイプラインは因果適応と分布マッチングを分離する。
Direct Forcingは、レファレンスビデオを利用する単一ステージフレームワークで、歴史の進行状況のペア例と、自己生成ビデオロールアウトのターゲット人口の両方を提供する。
これらの相補的な信号により、事前訓練されたビデオモデルでは、単一の訓練段階において因果連続と対象映像の分布を学習することができる。
- 参考スコア(独自算出の注目度): 25.918853227970885
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Few-step autoregressive video generation enables low-latency streaming, yet prevailing training pipelines separate causal adaptation from distribution matching. Recent representation-based text-to-video methods retain this separation by starting from ODE-initialized checkpoints, even when the target distribution is defined directly by reference videos. We introduce Direct Forcing, a single-stage framework that uses reference videos both as paired examples of how a history continues and as a target population for self-generated rollouts. Causal Continuation Alignment learns paired spatiotemporal correspondence under reference histories, while Rollout Distribution Matching uses maximum mean discrepancy to align the representation distributions of self-generated and reference videos. Together, these complementary signals allow a pretrained video model to learn causal continuation and the target video distribution in a single training stage. Dynamic Gradient Balancing adapts the relative gradient contributions of continuation alignment and distribution matching during training. Starting from bidirectional Wan2.1-1.3B, Direct Forcing learns a four-step autoregressive generator in 250 updates without a separate initialization stage or online diffusion-score supervision, achieving 84.63 VBench Total and 86.01 Quality. Ablation studies further demonstrate the benefits of dynamic gradient balancing and reveal distinct representation preferences: deeper features benefit continuation alignment, whereas intermediate features yield better performance for rollout distribution matching.
- Abstract(参考訳): 少ないステップの自動回帰ビデオ生成により、低レイテンシなストリーミングが可能になるが、一般的なトレーニングパイプラインでは、分散マッチングから因果適応を分離している。
近年の表現に基づくテキスト・ツー・ビデオ法では,対象の分布が参照ビデオによって直接定義される場合でも,ODE初期化チェックポイントから開始することで,この分離を維持している。
Direct Forcingは、レファレンスビデオを利用する単一ステージフレームワークで、履歴の継続方法のペア例と、自己生成ロールアウトのターゲット人口の両方を提供する。
Causal Continuation Alignmentは参照履歴の下でペア化された時空間対応を学習し、Rollout Distribution Matchingは最大平均差を利用して自己生成および参照ビデオの表現分布を整列する。
これらの相補的な信号により、事前訓練されたビデオモデルでは、単一の訓練段階において因果連続と対象映像の分布を学習することができる。
動的グラディエント・バランシングは、トレーニング中の継続アライメントと分布マッチングの相対勾配の寄与に適応する。
双方向のWan2.1-1.3Bから、Direct Forcingは250回の更新で4段階の自動回帰ジェネレータを学習し、個別の初期化ステージやオンライン拡散スコア監督なしで84.63VBenchトータルと86.01品質を達成した。
より深い特徴は連続的アライメントの恩恵を受ける一方、中間的特徴はロールアウト分布マッチングのより良い性能をもたらす。
関連論文リスト
- One-Step Distillation of Discrete Diffusion Image Generators via Fixed-Point Iteration [20.457786704615454]
Fixed-Point Distillation (FPD) は、学生の1段階のドラフトを部分的に破損させ、1段階の教師ステップで修正することで、局所的な修正ターゲットを構築するエンドツーエンドのフレームワークである。
FPDは、単一の推論ステップにおいて、競争力のある視覚的忠実度と構造的整合性を達成し、マルチステップの教師とのギャップを狭める。
論文 参考訳(メタデータ) (2026-05-20T17:59:10Z) - RAVEN: Real-time Autoregressive Video Extrapolation with Consistency-model GRPO [53.38929612273108]
因果自己回帰ビデオ拡散モデルは、以前生成されたコンテンツから将来のチャンクを外挿することでリアルタイムストリーミング生成をサポートする。
本稿では,リアルタイム自動回帰ビデオ補間ネットワーク(RAVEN)を紹介した。これは,各自己ロールアウトを,クリーンな歴史的エンドポイントのインターリーブシーケンスに再パッケージするトレーニングタイムテストフレームワークである。
論文 参考訳(メタデータ) (2026-05-14T17:59:30Z) - End-to-End Training for Autoregressive Video Diffusion via Self-Resampling [63.84672807009907]
自己回帰ビデオ拡散モデルは、世界シミュレーションの可能性を保っているが、列車テストミスマッチに起因する露出バイアスに弱い。
教師なしのフレームワークであるResampling Forcingを導入し、スクラッチから大規模まで自動回帰ビデオモデルのトレーニングを可能にする。
論文 参考訳(メタデータ) (2025-12-17T18:53:29Z) - SwiftVideo: A Unified Framework for Few-Step Video Generation through Trajectory-Distribution Alignment [76.60024640625478]
拡散ベースまたはフローベースモデルは、ビデオ合成において大きな進歩を遂げているが、複数の反復サンプリングステップが必要である。
本稿では, トラジェクトリ保存と分散マッチングの利点を組み合わせた, 統一かつ安定な蒸留フレームワークを提案する。
提案手法は高品質なビデオ生成を維持しつつ,推論ステップの数を著しく削減する。
論文 参考訳(メタデータ) (2025-08-08T07:26:34Z) - Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion [61.03681839276652]
拡散強制(Diffusion Forcing)は、拡散モデルをトレーニングし、トークンの集合に独立した音レベルを付与する、新たなトレーニングパラダイムである。
因果的次トーケン予測モデルを訓練して1つまたは複数の未来のトークンを生成することで、シーケンス生成モデルに拡散強制を適用する。
論文 参考訳(メタデータ) (2024-07-01T15:43:25Z) - Transform-Equivariant Consistency Learning for Temporal Sentence
Grounding [66.10949751429781]
ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。
私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。
特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
論文 参考訳(メタデータ) (2023-05-06T19:29:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。