Agentic World Action Models
Abstractの概要
本論文では、単一のmixture-of-transformersアーキテクチャ内で、コードベースの計画、将来の動画予測、低レベルのアクション生成を統合したエージェンティック・ワールド・アクションモデル「AW-0」を提案します。このモデルはコード、将来の視覚的状態、ロボットのアクションを結合された3つの生成ストリームとして扱い、共同でノイズ除去を行うことで、構造化されたスキル計画が予測と制御の双方を誘導できるようにしています。また著者らは、ロボットおよび人間の操作軌跡に対応するプログラムを付与し、反復するルーチンを再利用可能なスキルライブラリへと統合する自動アノテーションパイプラインについても述べています。AW-0は約2,000時間のロボットデータと約1,000時間の一人称視点の人間の操作データで事前学習され、シミュレーションおよび実環境での双腕操作タスクで評価されています。
新規性
主な新規性は、コードを単なる外部プランナーとして利用するのではなく、視覚的にグラウンディングされたコードエキスパートをワールド・アクションモデル内部に直接統合した点にあります。さらに、自動プログラムアノテーションとスキル発見パイプライン、ならびに展開時に直接的なアクションチャンクと実行可能なスキルプログラムを切り替え可能なハイブリッド実行スキームを提案したことも本研究の貢献です。
成果
RoboTwin 2.0において、AW-0はクリーン設定での80.8%を含め、クリーン環境とランダム化環境を通じた平均成功率で過去最高となる50.7%を達成し、ハイブリッドモードによりランダム化下での堅牢性を29.2%に向上させました。平行グリッパおよび多指ハンドを用いた8つの実世界タスクにおいて、AW-0は平均評価スコア71.1%を達成し、最強のベースラインを25.1ポイント上回りました。アブレーション解析により、コードを優先した共同ノイズ除去とViTベースの視覚条件付けがタスク性能を向上させること、そして共同ノイズ除去が自己回帰的なコード生成よりも高精度かつ高速に推論可能であることが示されました。
論文の注目点
- AW-0はコード、将来の動画、ロボットアクションを共同でモデル化し、再利用可能なスキルプログラムによって世界の予測と制御生成の双方を導くことを可能にする。
- デモンストレーションにプログラムスライスをアノテーションし、反復する動作を再利用可能なスキルライブラリへと抽出する自動キュレーションパイプラインを提案している。
- 実証実験において、AW-0はシミュレーションと実世界双方の双腕操作タスクで性能を向上させ、ハイブリッドコード実行が分布シフト下での頑健性を特に強化することを示した。
参考リンク
- arXiv: https://arxiv.org/abs/2610.30136v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2610.30136v1
- Hugging Face Papers: https://huggingface.co/papers/2610.30136
- Project: https://agentic-wam.github.io/