WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory
Abstractの概要
WorldCrafterは、長期的な生成や視点変化においてもシーンの内容を保持できるように設計された、カメラ制御可能な自己回帰型動画ワールドモデルです。その中核メカニズムは暗黙的3D認識メモリであり、過去の潜在フレームをコンパクトな表現へとエンコードし、指定されたカメラ軌跡を条件として固定数のトークンを読み出します。本手法は動画生成モデルと共同で訓練され、姿勢誘導型のメモリ読み出しと最大カバレッジ履歴検索を組み合わせることで、固定のトークン予算内でマルチビュー情報を圧縮します。単一の画像やテキストプロンプトからのストリーミング探索に対応し、静的シーンおよび動的シーンの双方で高い視覚品質と一貫性を維持します。
新規性
WorldCrafterは、マルチビュー3D表現の事前学習により初期化され、動画生成モデルと共同で最適化されるカメラクエリ対応の暗黙的3D認識メモリを導入しています。明示的な深度ベースの空間メモリとは異なり、デノイジング前に姿勢誘導型の読み出しを通じて潜在履歴を直接操作するため、ターゲット視点のRGB合成や深度に基づくワーピングを回避できます。
成果
725本のベンチマーク動画を用いた評価において、WorldCrafterは最も低いカメラ制御誤差と最高の総合VBenchスコア（81.910）を達成し、その蒸留版は最高の再訪問一貫性指標を記録しました。さらに、暗黙的メモリパイプラインにより、チャンクあたりのメモリ処理遅延が深度ベース空間メモリの1.346秒から0.062秒へと大幅に短縮されました。
論文の注目点
- WorldCrafterは、ターゲットのカメラ姿勢によってクエリされるコンパクトな暗黙的3D認識メモリを条件として自己回帰的な動画生成を行います。
- 本フレームワークは、既存のカメラ制御可能な動画ワールドモデルと比較して、長期的な再訪問時の一貫性とカメラ制御精度を大幅に向上させます。
- 潜在空間で直接処理を行うことで、明示的な深度推定や幾何学的ワーピングを回避し、メモリ処理のオーバーヘッドを削減しながらリアルタイムなストリーミング対話を実現します。
参考リンク
- arXiv: https://arxiv.org/abs/2609.24984v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2609.24984v1
- Hugging Face Papers: https://huggingface.co/papers/2609.24984
- Project: https://drexubery.github.io/WorldCrafter