DisCo: World Models with Discrete Camera Motion Control
Abstractの概要
DisCoは、連続的なカメラ軌跡をカメラモーション制御のためのコンパクトな離散的アクション空間に置き換えた、制御可能なビデオ世界モデルです。本論文は、連続的なカメラ表現が条件付け特徴量の交絡を引き起こし、複雑なモーションシーケンス下での信頼性の高いアクションの追従を弱めると主張しています。本手法は、カメラモーションを27の並進・回転プリミティブに離散化し、これらのアクション埋め込みをビデオ拡散バックボーンに注入し、効率的な長期生成のために教師モデルを4ステップの自己回帰型生徒モデルに蒸留します。さらに著者らは、視覚的品質、時間的一貫性、制御性を評価するため、短期的なアクション追従、動的シーン、長期生成を網羅するベンチマークであるDisCoBenchを導入しています。
新規性
主な新規性は、ビデオ世界モデルにおける信頼性の低いカメラ制御をアクション表現の分離可能性の問題として捉え、連続的な軌跡の条件付けではなく離散的なカメラモーションプリミティブを用いてこれに対処した点にあります。また、この表現を効率的な長尺ビデオ生成のためのアクション誘導型蒸留パイプラインと組み合わせた点や、制御性をより体系的に評価するためのDisCoBenchを導入した点も特徴的です。
成果
DisCo-ActionBenchにおいて、DisCoはMatrix-Game2 (0.5880)を上回る最高のアクションスコア (0.6332) を達成し、被写体の一貫性、背景の一貫性、モーションの滑らかさ、美的品質などの複数のVBench++品質指標でも比較手法をリードしています。DisCo-DynamicBenchでは、最高のFVD (220.51) と競争力のあるVQAスコア (0.5448) を達成し、動的探索ビデオにおける優れた性能を示しました。DisCo-LongBenchにおいては、一貫性、モーションの滑らかさ、美的品質でベースラインを上回り、アブレーション実験により、離散的アクションが連続的表現に比べて特徴の類似性を減らし、アクションの追従性を向上させることが示されています。
論文の注目点
- DisCoは、制御信号の分離可能性を向上させるために、連続的なカメラ軌跡を27の離散的な並進・回転アクションプリミティブに変換する。
- モデルは、アクション条件付きの拡散教師モデルと、セルフフォーシング蒸留、ウィンドウベースのアテンション、および長期生成のためのアテンションシンクを使用した4ステップの自己回帰型生徒モデルを組み合わせている。
- 新たに導入されたDisCoBenchでの実験とアブレーションにより、報告されている連続的および離散的アクションのベースラインよりも、高いアクション信頼性と競争力のある視覚的・時間的品質が示された。