論文の概要: OPSD-V: On-Policy Self-Distillation for Post-Training Few-Step Autoregressive Video Generators
- arxiv url: http://arxiv.org/abs/2607.08766v1
- Date: Thu, 09 Jul 2026 17:59:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.629708
- Title: OPSD-V: On-Policy Self-Distillation for Post-Training Few-Step Autoregressive Video Generators
- Title(参考訳): OPSD-V:ポストトレーニングFew-Step自己回帰ビデオジェネレータのオンポリシィ自己蒸留
- Abstract要約: OPSD-Vは、数ステップの自己回帰(AR)ビデオ拡散モデルの訓練後の自己蒸留パラダイムである。
鍵となるアイデアは、トレーニング中の時間的文脈として実際の長時間ビデオデータを導入し、それを高密度な軌跡レベルの監視に使用することである。
実験では、視覚的品質、運動力学、VBenchLongスコアが一貫した改善を示している。
- 参考スコア(独自算出の注目度): 68.69611976783243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose OPSD-V, an on-policy self-distillation paradigm for post-training few-step autoregressive (AR) video diffusion models. Existing few-step AR video generators can produce long videos with low latency, but still suffer from error accumulation and weakened motion dynamics during long autoregressive rollout. OPSD-V reduces long-horizon degradation while preserving the original few-step inference path. The key idea is to introduce real long-video data as temporal context during training and use it to provide dense trajectory-level supervision. Specifically, the student follows the exact inference-time rollout, generating each chunk conditioned on its own previously generated KV cache. In parallel, the teacher is evaluated at the same student-visited denoising states, but uses a cleaner AR-consistent temporal cache in which older history can be replaced by real-video context. This provides dense denoising-level corrective targets under on-policy AR cache dynamics, without changing the sampler, number of denoising steps, or inference-time cache mechanism. We apply OPSD-V to representative few-step AR video models, including Self-Forcing and LongLive. Experiments show consistent improvements in visual quality, motion dynamics, and VBenchLong scores. A user study with 10 participants comparing 20 video pairs shows that OPSD-V is preferred over the base models in 66.0% of overall-preference judgments (82.5% excluding ties).
- Abstract(参考訳): 本稿では,数段自己回帰(AR)ビデオ拡散モデルの訓練後における自己蒸留パラダイムであるOPSD-Vを提案する。
既存の数ステップのARビデオジェネレータは、レイテンシの低い長いビデオを生成することができるが、長い自動回帰ロールアウトの間、エラーの蓄積とモーションダイナミクスの低下に悩まされている。
OPSD-Vは、元の数ステップの推論パスを保持しながら、長期の劣化を減少させる。
鍵となる考え方は、訓練中の時間的文脈として実際の長時間ビデオデータを導入し、それを高密度な軌跡レベルの監視に利用することである。
具体的には、学生は正確な推論タイムのロールアウトに従って、事前に生成されたKVキャッシュに条件付きの各チャンクを生成する。
並行して、教師は生徒が視認する同じ状態を評価されるが、よりクリーンなAR一貫性の時間キャッシュを使用して、古い歴史を実映像のコンテキストに置き換えることができる。
これにより、サンプリング器、デノイングステップの数、推論時間キャッシュ機構を変更することなく、オンポラリARキャッシュダイナミックスの下で、密度の高いデノナイジングレベルの修正ターゲットが提供される。
OPSD-Vを、Self-ForcingやLongLiveなど、数ステップのARビデオモデルに応用する。
実験では、視覚的品質、運動力学、VBenchLongスコアが一貫した改善を示している。
20組の動画対を比較した10人の被験者によるユーザー調査では、OPSD-Vは66.0%(ネクタイを除くと82.5%)のベースモデルよりも好まれている。
関連論文リスト
- Self Gradient Forcing: Native Long Video Extrapolation [60.00513917489133]
自己グラディエント強制は、歴史的文脈-段階的ギャップを回復する。
コードとモデルがリリースされ、自動回帰ビデオ生成の研究が進められる。
論文 参考訳(メタデータ) (2026-07-22T16:59:23Z) - Salt: Self-Consistent Distribution Matching with Cache-Aware Training for Fast Video Generation [27.698320788533405]
軌道式整合蒸留(DMD)は、鋭いモード探索サンプルを回収することができるが、その局所的な訓練信号は、時間経過で更新がどのように構成されるかを明確に定めていない。
本稿では,連続的なデノナイジング更新の終端一致合成を明示的に規則化する自己持続分布マッチング蒸留(SC-DMD)を提案する。
論文 参考訳(メタデータ) (2026-04-03T15:43:21Z) - Self-Forcing++: Towards Minute-Scale High-Quality Video Generation [50.945885467651216]
拡散モデルは画像とビデオ生成に革命をもたらし、前例のない視覚的品質を達成した。
最近の研究は、主に短水平双方向教師の蒸留によって、長時間のビデオ生成のための自己回帰的定式化を探求している。
長ビデオ教師の監督や長ビデオデータセットの再訓練を必要とせずに、長ビデオ生成における品質劣化を軽減するための、単純かつ効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2025-10-02T17:55:42Z) - DejaVid: Encoder-Agnostic Learned Temporal Matching for Video Classification [4.973664680272982]
DejaVidは、アーキテクチャの再トレーニングや変更を必要とせずに、モデルパフォーマンスを向上させるエンコーダに依存しない方法である。
この学習タスクのために,従来の時系列アライメントアルゴリズムにインスパイアされた新しいニューラルネットワークアーキテクチャを導入する。
評価の結果,DejaVidは最先端の大規模エンコーダの性能を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2025-06-14T17:39:03Z) - Self Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion [67.94300151774085]
本稿では,自己回帰ビデオ拡散モデルのための新しい訓練パラダイムであるSelf Forcingを紹介する。
露光バイアスの長年の問題に対処し、地道的な文脈で訓練されたモデルは、自身の不完全な出力で条件付けられたシーケンスを生成する必要がある。
論文 参考訳(メタデータ) (2025-06-09T17:59:55Z) - Ca2-VDM: Efficient Autoregressive Video Diffusion Model with Causal Generation and Cache Sharing [66.66090399385304]
Ca2-VDMは、Causal生成とキャッシュ共有を備えた効率的な自己回帰VDMである。
因果生成のために一方向の特徴計算を導入し、前回の自己回帰ステップで条件付きフレームのキャッシュをプリ計算できるようにする。
キャッシュ共有では、巨大なキャッシュストレージコストを避けるために、すべてのデノナイズステップでキャッシュを共有する。
論文 参考訳(メタデータ) (2024-11-25T13:33:41Z) - ARVideo: Autoregressive Pretraining for Self-Supervised Video Representation Learning [29.620990627792906]
本稿では,新たな自己教師付きビデオ表現学習フレームワークであるARVideoを提案する。
大規模な実験は、自己教師付きビデオ表現学習の効果的なパラダイムとしてARVideoを確立する。
論文 参考訳(メタデータ) (2024-05-24T02:29:03Z) - Spatiotemporal Contrastive Video Representation Learning [87.56145031149869]
ラベルのないビデオから視覚的表現を学習するための,自己指導型コントラスト映像表現学習(CVRL)法を提案する。
我々の表現は、コントラスト時間的損失を用いて学習され、同じ短いビデオから2つの強化されたクリップが埋め込み空間にまとめられる。
本研究では,ビデオ自己教師型学習におけるデータ向上の要因について検討し,空間的情報と時間的情報の両方が重要であることを明らかにする。
論文 参考訳(メタデータ) (2020-08-09T19:58:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。