論文の概要: Conditional Residual Prediction: Improving Autoregressive Video Diffusion without a Bidirectional Teacher

• arxiv url: http://arxiv.org/abs/2610.11479v1
• Date: Thu, 08 Oct 2026 08:25:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.891176
• Title: Conditional Residual Prediction: Improving Autoregressive Video Diffusion without a Bidirectional Teacher
• Title（参考訳）: 条件付き残差予測:双方向教師なしでの自己回帰的ビデオ拡散の改善
• Abstract要約: 因果的ビデオ拡散モデルは、ストリーミング、インタラクティブ、ロングビデオ生成に適した自動回帰ビデオを生成する。 本研究では、モデルが条件に依存することを低減するための簡単なレシピである条件付き残留予測(CRP)を提案する。 CRPは6.14ポイントのギャップを同じ設定で訓練された双方向モデルにほぼ埋める。
• 参考スコア（独自算出の注目度）: 17.526131846779563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Causal video diffusion models generate video autoregressively, which suits streaming, interactive, and long-video generation. Under standard training, however, they often yield lower generation quality than bidirectional models of the same size. Many existing approaches address this gap by initializing from or distilling a pretrained bidirectional teacher. We instead train a causal model from an image-model initialization, with no bidirectional video model at any stage. Because this path requires neither a large bidirectional teacher nor a complex distillation pipeline, it is simpler and more scalable. On this path, we find that a causal model trained on ground-truth history becomes strongly dependent on it, so that at inference errors in its own generated history propagate forward. We hypothesize that much of this dependence is unnecessary, because the current input already determines much of what the history provides. We propose Conditional Residual Prediction (CRP), a simple recipe for reducing a model's reliance on a condition: the model first predicts the target without the condition, and the condition may only add a residual on top of this prediction. Applied to history, CRP makes the model predict each chunk from the present as far as it can and use the past only for what the present cannot supply. In controlled experiments, CRP nearly closes the 6.14-point gap to a bidirectional model trained under the same setup. Scaling this recipe, we train Optica, a 2B-parameter causal video model that autoregressively generates 5-second 480p videos and reaches 82.78 on VBench with only about 15M training videos.
• Abstract（参考訳）: 因果的ビデオ拡散モデルは、ストリーミング、インタラクティブ、ロングビデオ生成に適した自動回帰ビデオを生成する。 しかし、標準的な訓練では、同じサイズの双方向モデルよりも低い世代品質が得られることが多い。 既存の多くのアプローチは、事前訓練された双方向の教師から初期化または蒸留することで、このギャップに対処している。 代わりに、画像モデルの初期化から因果モデルをトレーニングします。 この経路は大きな双方向教師も複雑な蒸留パイプラインも必要としないため、よりシンプルでスケーラブルである。 この経路では,地中史に基づいて訓練された因果関係モデルが強く依存していることが判明し,その推定誤差が自己の生み出した歴史における推論誤差が前方に伝播する。 現在の入力は、その履歴が提供するものの大部分をすでに決定しているので、これらの依存の多くは不要である、という仮説を立てています。 モデルがまず条件なしでターゲットを予測し,その上に残余を付加するだけでよいという条件付き残留予測(CRP)を提案する。 歴史に応用すると、CRPは、現在からできる限り、各チャンクを予測させ、現在供給できないものにだけ過去を使用する。 制御された実験では、CRPは6.14ポイントのギャップを同じ設定で訓練された双方向モデルにほぼ閉じている。 このレシピをスケールすると、2Bパラメトリックの因果ビデオモデルであるOpticaをトレーニングし、5秒480pのビデオを自動で生成し、VBenchで82.78に到達し、トレーニングビデオは約15万である。

関連論文リスト

• End-to-End Training for Autoregressive Video Diffusion via Self-Resampling [63.84672807009907]
  自己回帰ビデオ拡散モデルは、世界シミュレーションの可能性を保っているが、列車テストミスマッチに起因する露出バイアスに弱い。 教師なしのフレームワークであるResampling Forcingを導入し、スクラッチから大規模まで自動回帰ビデオモデルのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2025-12-17T18:53:29Z)
• Self Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion [67.94300151774085]
  本稿では,自己回帰ビデオ拡散モデルのための新しい訓練パラダイムであるSelf Forcingを紹介する。 露光バイアスの長年の問題に対処し、地道的な文脈で訓練されたモデルは、自身の不完全な出力で条件付けられたシーケンスを生成する必要がある。
  論文  参考訳（メタデータ） (2025-06-09T17:59:55Z)
• From Slow Bidirectional to Fast Autoregressive Video Diffusion Models [48.35054927704544]
  現在のビデオ拡散モデルは、印象的な生成品質を実現するが、双方向の注意依存のため、インタラクティブなアプリケーションに苦戦する。 この制限には、事前訓練された双方向拡散変換器を自己回帰変換器に適応させ、フレームをオンザフライで生成することで対処する。 我々のモデルは、VBench-Longベンチマークで84.27点のスコアを達成し、以前のすべてのビデオ生成モデルを上回った。
  論文  参考訳（メタデータ） (2024-12-10T18:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。