論文の概要: RepForcing: Representation-Space Initialization for Autoregressive Video Distillation

• arxiv url: http://arxiv.org/abs/2610.20111v1
• Date: Wed, 14 Oct 2026 12:42:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.141953
• Title: RepForcing: Representation-Space Initialization for Autoregressive Video Distillation
• Title（参考訳）: RepForcing: 自己回帰ビデオ蒸留のための表現空間初期化
• Abstract要約: 事前訓練されたビデオ拡散モデルを数ステップの自己回帰(AR)ジェネレータに蒸留することは、通常、学生と教師を結合する。 数ステップの因果関係を学習するRepresentation Forcingを提案する。 オードは、表現空間の監督によって行われる。 中間教師の軌道回帰。 我々の4段階のチャンクワイドモデルはVBench TotalとVisionRewardを改良します。 84.04から84.66(+0.62点)、VisionRewardは6.326から10.074(+59.25%)。 causal-ODE-based baseline を報告。
• 参考スコア（独自算出の注目度）: 10.400007216659215
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distilling pretrained video diffusion models into few-step autoregressive (AR) generators typically combines student initialization with distribution matching distillation (DMD). An intermediate AR teacher can provide causally compatible targets for ODE initialization. However, causally compatible targets alone do not ensure high-quality generation under a short sampling schedule. We analyze the posterior-mean predictions favored by direct latent regression and empirically find that causal ODE initialization alleviates blur but still leaves fine detail unresolved. To address this limitation, we propose Representation Forcing, which learns few-step causal initialization through representation-space supervision rather than intermediate-teacher trajectory regression. The student is trained with teacher forcing by comparing clean predictions and training targets through normalized features of a frozen video diffusion transformer. This phase reuses the synthetic videos generated by a bidirectional model for AR teacher training and replaces both teacher training and causal ODE distillation, without generating additional causal ODE trajectories. The subsequent asymmetric DMD procedure remains unchanged. Empirical results show that, at four sampling steps, RepForcing better preserves generation quality than intermediate-teacher-based initialization before DMD. After DMD, our four-step chunk-wise model improves VBench Total from 84.04 to 84.66 (+0.62 points) and VisionReward from 6.326 to 10.074 (+59.25%) over the reported causal-ODE-based baseline.
• Abstract（参考訳）: 予め訓練されたビデオ拡散モデルを数ステップの自己回帰(AR)ジェネレータに蒸留することは、学生の初期化と分散マッチング蒸留(DMD)を組み合わせるのが一般的である。 中間のAR教師はODE初期化のために因果的に互換性のあるターゲットを提供することができる。 しかし、因果的に互換性のあるターゲットだけでは、短いサンプリングスケジュール下で高品質な生成が保証されない。 直接回帰が好む後平均予測を解析し、因果ODE初期化が曖昧さを緩和するが、詳細は未解決のままであることを示す。 この制限に対処するために、中間教師の軌道回帰ではなく、表現空間の監督を通じて、数ステップの因果初期化を学習するRepresentation Forcingを提案する。 凍結ビデオ拡散変圧器の正規化特徴を生かして、クリーンな予測とトレーニング目標を比較することで、教員の強制を訓練する。 このフェーズは、AR教師養成のための双方向モデルによって生成された合成ビデオを再使用し、追加の因果ODE軌跡を発生させることなく、教師訓練と因果ODE蒸留の両方を置き換える。 その後の非対称DMDプロシージャは変わっていない。 実験結果から,RepForcing は DMD 以前の中間教師による初期化よりも生成品質を向上することが示された。 DMDの後、我々の4段階チャンクワイドモデルはVBench Totalを84.04から84.66(+0.62点)に改善し、VisionRewardは6.326から10.074(+59.25%)に改善した。

関連論文リスト

• Simplifying and Improving On-Policy Distillation for Few-Step Diffusion [60.45650436067934]
  少ない段階の蒸留は拡散・流動モデルのサンプリングコストを低減させるが、既存の手法では補助的なスコアモデルや特殊なアーキテクチャを必要とすることが多い。 4-NFE生成の基盤として, 簡易なオン・ポリティクス速度回帰法がすでに有効であることを示す。 本稿では,学習者の区間平均予測から局所的な補正を分離する訓練専用残差プロキシであるPivotを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T14:35:46Z)
• Conditional Residual Prediction: Improving Autoregressive Video Diffusion without a Bidirectional Teacher [17.526131846779563]
  因果的ビデオ拡散モデルは、ストリーミング、インタラクティブ、ロングビデオ生成に適した自動回帰ビデオを生成する。 本研究では、モデルが条件に依存することを低減するための簡単なレシピである条件付き残留予測(CRP)を提案する。 CRPは6.14ポイントのギャップを同じ設定で訓練された双方向モデルにほぼ埋める。
  論文  参考訳（メタデータ） (2026-10-08T08:25:41Z)
• From Scores to Samples: Elastic Forcing for Autoregressive Video Generation [22.177127971362413]
  分散マッチング蒸留(DMD)を利用した数ステップ自動回帰ビデオ生成 我々は、参照ビデオから直接ロールアウト分布を学習し、ポストトレーニング中の両方のスコアモデルを排除した。 我々のフレームワークは、凍結した自己教師付きビデオ表現空間における最大平均不一致(MMD)を最小限に抑える。
  論文  参考訳（メタデータ） (2026-09-28T16:00:49Z)
• ViRDM: Taming Representation Distribution Matching for Few-Step Causal Video Generation [24.773587278828675]
  ViRDMは教師と批評家のいないポストトレーニングのレシピである。 3ネットワーク蒸留を発電機のみのポストトレーニングに変換する。 ジェネレータの更新はわずか20回で、公式のVBench評価では84.87回に達した。
  論文  参考訳（メタデータ） (2026-09-24T02:07:07Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Adversarial Distribution Matching for Diffusion Distillation Towards Efficient Image and Video Synthesis [65.77083310980896]
  本稿では, 実測値と偽測値の間に潜時予測を整列させる適応分布マッチング (ADM) を提案する。 提案手法は,DMD2と比較してSDXLの1ステップ性能に優れ,GPU時間が少ない。 SD3-Medium, SD3.5-Large, CogVideoX に多段階の ADM 蒸留を適用した実験では, 画像と映像の効率的な合成に向けた新しいベンチマークが設定された。
  論文  参考訳（メタデータ） (2025-07-24T16:45:05Z)
• From Slow Bidirectional to Fast Autoregressive Video Diffusion Models [48.35054927704544]
  現在のビデオ拡散モデルは、印象的な生成品質を実現するが、双方向の注意依存のため、インタラクティブなアプリケーションに苦戦する。 この制限には、事前訓練された双方向拡散変換器を自己回帰変換器に適応させ、フレームをオンザフライで生成することで対処する。 我々のモデルは、VBench-Longベンチマークで84.27点のスコアを達成し、以前のすべてのビデオ生成モデルを上回った。
  論文  参考訳（メタデータ） (2024-12-10T18:59:50Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。