Self Gradient Forcing: Native Long Video Extrapolation
Abstractの概要
本論文は、長期間の自己回帰型ビデオ拡散モデルを研究し、既存の自己強制（Self Forcing）学習では、自己生成された履歴がモデルのKey-Valueメモリにどのように書き込まれるかについての教師信号パスが依然として欠落していると論じている。著者らはこれを「履歴コンテキスト勾配ギャップ」と呼んでいる。これは、将来の損失が後続のトークンを訓練してキャッシュされた履歴を読み取ることはできるが、自己生成された初期の潜在変数をキャッシュに書き込んだクリーンなタイムステップの計算には逆伝播しないためである。この問題に対処するため、本論文では自己勾配強制（SGF）を提案する。これは、勾配のないシリアルロールアウトの後に並列再構成ステップを適用し、再構成されたコンテキストK/V表現を通じて勾配を復元する2パスの学習手順である。実験は、5秒間の学習ウィンドウをはるかに超えるネイティブな外挿に焦点を当て、複数の初期化条件下での5秒、60秒、240秒のホライズンにおけるフレーム単位およびチャンク単位の生成を網羅している。
新規性
主な新規性は、凍結キャッシュを用いた自己強制における履歴コンテキスト勾配ギャップを特定し、ロールアウト全体への完全な逆伝播を行わずにその教師信号を回復するSGFを導入した点である。この手法は、サンプリングされたロールアウトを固定したまま、境界のある2パス再構成を用いて、将来の損失が自己生成コンテキストのメモリ書き込みを監督できるようにした点で独自性がある。
成果
厳密な比較において、SGFは5秒時点では概ね自己強制と同等であるが、60秒および240秒の長期間メトリクス（特に被写体の一貫性、背景の一貫性、画質、動きの滑らかさ、ちらつき）のほとんどを改善することが報告されている。ブラインドでの人間の評価スコアは、報告された長期間の比較のすべてにおいてSGFに対して肯定的であり、学習分析では、直接微分可能なキャッシュでのメモリ不足の挙動を回避しつつ、凍結キャッシュを用いた自己強制に対して適度なオーバーヘッドに収まることが示されている。
論文の注目点
- SGFは、自己回帰型ビデオ拡散モデルにおける特定の学習課題（将来の損失が通常、自己生成履歴の因果的K/Vメモリへのエンコード方法を監督しない問題）を標的としている。
- 本手法は、勾配なしのロールアウトパスと勾配を有効にした並列再構成パスを使用し、完全な再帰的自動微分グラフを保持することなくコンテキストメモリの勾配を復元する。
- 実証評価から、このアプローチは主に短期的な品質よりも長期間の外挿に寄与し、60秒および240秒のビデオにおいてより強い時間的安定性と一貫性をもたらすことが示唆されている。
参考リンク
- arXiv: https://arxiv.org/abs/2607.20368v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2607.20368v1
- Hugging Face Papers: https://huggingface.co/papers/2607.20368
- Project: https://zhuang2002.github.io/SelfGradientForcing