Momentum: Persistent Dynamics for Video World Models
Abstractの概要
本論文では、対象物が現在のカメラ視野から外れて後から再出現する場合でも、動画ワールドモデルが一貫したシーンダイナミクスを維持する方法を研究しています。提案システムであるMomentumは、周囲を網羅する8台のカメラをそれぞれ備えたグラフ接続型リファレンスリグからの同期動画として世界を表現します。本手法は2段階パイプラインを採用しており、WorldUpdateがリグ間で進化するマルチビューの世界状態を生成し、WorldInteractがその状態に基づいてターゲットカメラの動画生成を条件付けます。この設定を支えるため、著者らは市街地シーンにおける動的グラウンディングのためのCARLAベースのデータ生成および評価フレームワークも構築しました。
新規性
主な新規性は、静止画像や観測履歴、キャッシュされた空間メモリに依存するのではなく、同期マルチビューリファレンス動画を進化する世界状態として扱う点にあります。また、明示的なオブジェクト追跡や静的・動的シーンの分離を行うことなく、空間と時間を横断してシーンダイナミクスを協調させるグラフ伝播マルチリグ生成を導入しています。
成果
正解リファレンス動画を用いた評価では、動的グラウンディングモデルが既知および未知の街において視覚的忠実度、カメラ軌道精度、静的・動的シーンの一貫性のすべてで静的グラウンディングベースラインを上回りました。エンドツーエンド設定において、Momentumは画像条件付き動的グラウンディングベースラインと比較して動的シーン一貫性（SCS-dyn）を既知の街で130.2%、未知の街で126.2%向上させ、視覚的忠実度と全体の一貫性も改善しました。
論文の注目点
- Momentumは、グラフ接続された8台カメラのリファレンスリグを通じて持続的なシーンダイナミクスをモデル化し、現在のターゲット視野を超えた世界の進化を可能にする。
- 本フレームワークは世界状態の展開（WorldUpdate）とターゲット視点のレンダリング（WorldInteract）を分離し、生成されたリファレンス動画を複数のターゲット軌道で再利用可能な動的グラウンディングとして機能させる。
- CARLA市街地シーンの実験により、時間や視点をまたぐ移動オブジェクトの一貫性維持において、動的グラウンディングが静止画像条件付けよりも大幅に効果的であることが示された。