論文の概要: Mix Forcing: Causal Pre-Training via Mixture Attention for Interactive World Models
- arxiv url: http://arxiv.org/abs/2610.33589v1
- Date: Sat, 24 Oct 2026 10:31:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.369163
- Title: Mix Forcing: Causal Pre-Training via Mixture Attention for Interactive World Models
- Title(参考訳): 混合強制: 対話型世界モデルのための混合注意による因果前訓練
- Abstract要約: インタラクティブなビデオワールドモデルのための因果前訓練パラダイムであるMix Forcingを紹介する。
我々のモデルは、精密なカメラ制御により、最先端の視覚的品質とタイムリーなイベントを追従する。
- 参考スコア(独自算出の注目度): 64.62504749129714
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While interactive video world models require autoregressive generation, directly adapting pretrained bidirectional video diffusion models into autoregressive ones with teacher forcing can disrupt their visual priors and degrade autoregressive generation quality. In this paper, we introduce Mix Forcing, a causal pre-training paradigm for interactive video world models, implemented with the Mixture-of-Bidirectional-and-Autoregressive (MoBA) attention. Mix Forcing jointly trains a video diffusion model with both teacher forcing and bidirectional training, yielding a strong causal initialization for few-step post-training. In self-attention, Mix Forcing leverages teacher forcing to learn causal next-chunk prediction for autoregressive rollout, while using bidirectional attention to preserve pretrained visual priors. To support online text interaction, Mix Forcing further adopts a chunk-wise cross-attention design that conditions each video chunk on a shared environment prompt and its own local prompt, without exposing future instructions to the current chunk. Following causal pre-training on a 14B image-to-video model, we apply consistency and distribution matching distillation to obtain a four-step autoregressive generator. Experiments on our internal benchmark and public benchmarks, including WBench and SANA-WM-Bench, show that our model achieves state-of-the-art visual quality and timely event following with precise camera control. Notably, our model supports high-fidelity long-horizon generation without quality degradation even over one-hour rollouts. Project page is here: https://zelingao98.github.io/mixforcing
- Abstract(参考訳): インタラクティブなビデオワールドモデルは自己回帰生成を必要とするが、教師の強制で事前訓練された双方向ビデオ拡散モデルを直接自己回帰モデルに適応させることは、彼らの視覚的先行性を阻害し、自己回帰生成の品質を低下させる可能性がある。
本稿では,Mixture-of-Bidirectional-and-Autoregressive (MoBA) に着目し,対話型ビデオワールドモデルのための因果事前学習パラダイムであるMix Forcingを紹介する。
MixForcingは、教師の強制と双方向の訓練の両方でビデオ拡散モデルを共同で訓練し、数ステップのポストトレーニングにおいて強力な因果初期化をもたらす。
自己注意では、Mix Forcingは教師の強制力を利用して、自己回帰的なロールアウトのための因果的次のチャンク予測を学習する。
オンラインテキストインタラクションをサポートするために、Mix Forcingはさらに、現在のチャンクに将来の指示を公開することなく、共有環境のプロンプトと独自のローカルプロンプトに各ビデオチャンクを条件付けるチャンクワイズなクロスアテンション設計を採用する。
14B画像-ビデオモデルにおける因果前訓練の後, 整合性および分布整合蒸留を適用し, 4段階の自己回帰生成器を得る。
WBench や SANA-WM-Bench などの内部ベンチマークと公開ベンチマークの実験により,我々のモデルは,精密なカメラ制御による最先端の視覚的品質とタイムリーなイベントを達成できた。
特に,本モデルでは,1時間以上ロールアウトしても品質劣化を伴わない高忠実長軸生成をサポートしている。
プロジェクトページはこちら。 https://zelingao98.github.io/mixForcing
関連論文リスト
- MiniWorld: Democratizing the Training of Video World Models from Scratch [13.334555097211636]
ビデオワールドモデルは、過去の観測と制御信号に基づいて将来の観測を予測する。
MiniWorldは、ストリーミングビデオワールドモデルをゼロからトレーニングするための再現可能なフレームワークである。
論文 参考訳(メタデータ) (2026-08-02T09:57:02Z) - Mutual Forcing: Dual-Mode Self-Evolution for Fast Autoregressive Audio-Video Character Generation [86.69465782855086]
Mutual Forcingは、長時間のオーディオ-ビデオ同期を伴う高速自動回帰オーディオ-ビデオ生成のためのフレームワークである。
提案手法は,ジョイント・オーディオ・ビデオ・モデリングと高速自己回帰生成という2つの課題に対処する。
論文 参考訳(メタデータ) (2026-04-28T16:28:05Z) - End-to-End Training for Autoregressive Video Diffusion via Self-Resampling [63.84672807009907]
自己回帰ビデオ拡散モデルは、世界シミュレーションの可能性を保っているが、列車テストミスマッチに起因する露出バイアスに弱い。
教師なしのフレームワークであるResampling Forcingを導入し、スクラッチから大規模まで自動回帰ビデオモデルのトレーニングを可能にする。
論文 参考訳(メタデータ) (2025-12-17T18:53:29Z) - From Slow Bidirectional to Fast Autoregressive Video Diffusion Models [48.35054927704544]
現在のビデオ拡散モデルは、印象的な生成品質を実現するが、双方向の注意依存のため、インタラクティブなアプリケーションに苦戦する。
この制限には、事前訓練された双方向拡散変換器を自己回帰変換器に適応させ、フレームをオンザフライで生成することで対処する。
我々のモデルは、VBench-Longベンチマークで84.27点のスコアを達成し、以前のすべてのビデオ生成モデルを上回った。
論文 参考訳(メタデータ) (2024-12-10T18:59:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。