Long-WAM: Scaling the Context of World-Action Models
Abstractの概要
Long-WAMは、リアルタイムなロボット制御の制約下において、因果的世界行動モデルの視覚コンテキストをスケーリングするためのモデルおよびシステムフレームワークです。本論文では、単に長い履歴にアクセスするだけでは不十分であり、履歴から未来への構造がすでに学習されている自己回帰型で事前学習されたビデオ基盤モデルを用いることで、長いコンテキストがはるかに有用になると主張しています。この手法はまず、行動ラベルのない大規模なロボットおよび一人称視点ビデオから因果的予測を学習し、因果的依存関係を維持しつつ予測された未来の潜在変数を行動の条件としながら、この基盤を行動生成へと適応させます。さらに、オンライン制御に十分な推論速度を維持するため、ストリーミング観測エンコーディング、非同期実行、ハードウェア固有の高速化などの展開最適化とモデル設計を組み合わせています。
新規性
主な貢献は、世界行動モデルにおけるコンテキストのスケーリングが単なるメモリウィンドウの拡大ではなく、因果予測的な事前学習に依存しているという統合的な主張です。また、本論文はこのモデリング手法と、速度向上のために未来予測を排除することなく維持するリアルタイム展開スタックを統合しています。
成果
実験では、コンテキストの増加により自己回帰型で事前学習されたモデルの性能が大幅に向上し、RoboCasa GR-1ではコンテキストが0.0秒から19.2秒に拡大するにつれて63.3%から78.7%へと上昇した一方、双方向事前学習の初期化では同様の純増は見られませんでした。Long-WAMはLIBERO-Long、RoboTwin 2.0、DOMINOにおいて比較対象中最良の結果を報告し、動的なカップ積み上げでの95%の成功率や長期的なYAMタスクでの平均81.7%の成功率など、実世界での強力な性能を実証しています。最適化されたシステムは複数のNVIDIAプラットフォーム上でリアルタイム動作し、RTX 5090では未来ビデオの潜在変数予測を含めて行動チャンクあたり107.4ミリ秒を達成しています。
論文の注目点
- 双方向事前学習では同様のロングコンテキストの恩恵が見られないのに対し、自己回帰型ビデオ事前学習が、より長い観測履歴をより優れた制御へと結びつけるための鍵となる要因であることが示されています。
- 観測履歴と予測された未来の潜在変数の両方を行動の条件とする予測後行動（predict-then-act）パイプラインを採用し、世界行動への適応中も因果的な視覚構造を維持します。
- 非同期実行、ストリーミングVAEエンコーディング、量子化、KVキャッシュの再利用、デバイス固有のチューニングといった実用的なシステム最適化により、予測条件付けを維持しながらレイテンシを削減し、実機展開を支援しています。