Programmable World Model
Abstractの概要
Programmable World Modelは、世界状態の遷移と視覚的観測の合成を分離するインタラクティブな動画生成フレームワークです。コーディングエージェントが自然言語による指示を実行可能なプログラムへと変換し、実体の状態、関係性、遷移規則を定義するとともに、軽量なエンジンが画面外や非視覚情報を含む永続的な標準世界状態を保持します。この保持された状態は状態拡張3D指向性バウンディングボックスとして表現され、事前学習済み動画生成モデル向けにピクセル単位で整列された識別情報、意味情報、および運動方向の制御信号へと決定論的にコンパイルされます。本論文ではさらに、動画から構造化された教師データを復元する自動訓練データパイプラインと、生成された動画が一連のインタラクションを通じてエンジンが保持する状態と整合しているかを評価するベンチマーク「CombatStateBench」を提案しています。
新規性
本研究の主な新規性は、動画モデルが世界の事実を暗黙的に記憶・更新することに依存するのではなく、プログラム可能な状態実行と生成的レンダリングを明示的に分離した点にあります。また、実行可能な世界プログラムと動画生成をつなぐ中間インターフェースとして状態拡張3D指向性バウンディングボックスと決定論的状態コンパイラを提案し、この設定を評価するためのCombatStateBenchを導入した点も特徴です。
成果
CombatStateBenchにおいて、本手法はカウント精度94%、状態精度98%を記録し、世界状態の一貫性において比較対象となったインタラクティブ動画世界モデルを大幅に上回りました。また、比較手法の中でVBenchに基づく動画品質指標において最も優れた結果を達成し、長期的な生成、画面外の実体の永続性、戦闘やレースといった複数のシーンタイプへの対応が定性的に示されています。
論文の注目点
- 自然言語の指示から導出された実行可能ルールに基づき、エージェントと軽量実行エンジンを用いて明示的かつ永続的な世界状態を維持する。
- 状態拡張3D指向性バウンディングボックスを、ピクセル単位で整列された識別・意味・方向制御信号へとコンパイルし、事前学習済み動画レンダラーに条件付けを行う。
- 新設されたCombatStateBenchでの実験により、可視キャラクター数や死亡状態の実現などにおいて、レンダリングされた動画とエンジンが保持する状態との整合性が大幅に向上することが示された。
参考リンク
- arXiv: https://arxiv.org/abs/2609.10540v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2609.10540v1
- Hugging Face Papers: https://huggingface.co/papers/2609.10540
- GitHub: https://github.com/AlayaLab/pwm
- Project: https://alaya-lab.github.io/pwm