論文の概要: Agentic World Action Models
- arxiv url: http://arxiv.org/abs/2610.30136v1
- Date: Wed, 21 Oct 2026 17:59:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 09:50:43.266376
- Title: Agentic World Action Models
- Title(参考訳): エージェント的世界行動モデル
- Abstract要約: AW-0は、コードベースの計画と共同ビデオとアクション予測を統合したエージェント的世界アクションモデルフレームワークである。
コンバーチブル・オブ・トランスフォーマー・アーキテクチャにおいて、コード、将来のビデオ、ロボットアクションを3つの結合生成ストリームとしてモデル化する。
本稿では,ロボットと人間のビデオトラジェクトリを協調プログラムでラベル付けし,定期的なルーチンを再利用可能なスキルライブラリに集約する自動キュレーションパイプラインを提案する。
- 参考スコア(独自算出の注目度): 94.92535674311954
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent world action models provide visual foresight and future prediction for robot manipulation, but lack explicit mechanisms for compositional skill reuse. Agentic robotics combines code-based planning and reasoning with reusable skills, but often lacks predictive grounding in physical dynamics. We introduce AW-0, an agentic world action model framework that integrates code-based planning with joint video and action prediction. We jointly model code, future video, and robot actions as three coupled generative streams within a unified mixture-of-transformers architecture. Within this architecture a code expert generates parameterized skill routines and control logic while video and action experts generate future visual states and low-level motor commands. Code serves two complementary roles: it structures multi-step prediction and control within the world model and represents skills as reusable programs for subsequent agentic execution. We further introduce an automated curation pipeline that labels robot and human video trajectories with aligned programs and consolidates recurring routines into reusable skill libraries. Evaluations on RoboTwin 2.0 and physical bimanual manipulation tasks show improved task performance over VLA and WAM baselines, alongside gains in language following, semantic reasoning and robustness, demonstrating that agentic code enables connection between planning, prediction and execution within WAMs.
- Abstract(参考訳): 最近の世界行動モデルは、ロボット操作の視覚的見通しと将来の予測を提供するが、作曲スキルの再利用のための明確なメカニズムは欠如している。
エージェントロボティクスは、コードベースの計画と推論と再利用可能なスキルを組み合わせるが、物理力学の予測基盤を欠いていることが多い。
AW-0は,コードベース計画と共同ビデオとアクション予測を統合したエージェント的世界行動モデルフレームワークである。
コンバーチブル・オブ・トランスフォーマー・アーキテクチャにおいて、コード、将来のビデオ、ロボットアクションを3つの結合生成ストリームとしてモデル化する。
このアーキテクチャでは、コードエキスパートがパラメータ化されたスキルルーチンと制御ロジックを生成し、ビデオとアクションの専門家が将来の視覚状態と低レベルのモーターコマンドを生成する。
コードは、世界モデル内で多段階の予測と制御を構成し、その後のエージェント実行のための再利用可能なプログラムとしてスキルを表現する。
さらに,ロボットと人間のビデオトラジェクトリを協調プログラムでラベル付けし,定期的なルーチンを再利用可能なスキルライブラリに集約する自動キュレーションパイプラインを導入する。
RoboTwin 2.0と物理バイマニュアル操作タスクの評価では、VLAとWAMベースラインのタスクパフォーマンスが向上し、言語フォロー、セマンティック推論、ロバスト性が向上し、エージェントコードがWAM内での計画、予測、実行の接続を可能にすることを示した。
関連論文リスト
- WALA Learning Executable Latent Actions from Action-Labeled Demonstrations and Action-Free Videos [38.959415159248046]
WALAは、アクションラベル付きデモとアクションフリービデオの両方から実行可能な潜在アクションを学ぶためのフレームワークである。
WALAはRoboTwin上で高いパフォーマンスを実現し,RoboCasa上での最先端の成果を平均75.2%で実現している。
論文 参考訳(メタデータ) (2026-07-13T11:02:04Z) - From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data [71.22409934108924]
人間のビデオは豊富で、豊富な相互作用を捉え、現実世界の操作に多様な意味と物理的な手がかりを提供する。
この調査は、人間のビデオがビジョン・ランゲージ・アクション(VLA)モデルの効果的な知識にどのように変換されるか、統一された視点を提供する。
この領域では、非構造化動画をトレーニング可能なエピソードに構造化すること、エンボディメントと視点の不均一性の下でロボットが実行可能なアクションにビデオから制御すること、現実世界の展開性能と転送効率をよりよく予測する評価プロトコルを設計すること、の3つのオープンな課題を強調している。
論文 参考訳(メタデータ) (2026-05-18T06:19:16Z) - Causal World Modeling for Robot Control [56.31803788587547]
ビデオワールドモデルは、アクションと視覚力学の因果関係を理解することによって、近い将来に想像できる能力を提供する。
本稿では,フレーム予測とポリシ実行を同時に学習する自動回帰拡散フレームワークLingBot-VAを紹介する。
シミュレーションベンチマークと実世界のシナリオの両方でモデルを評価したところ、長距離操作、ポストトレーニングにおけるデータ効率、新しい構成への強力な一般化性などに大きな可能性を示唆している。
論文 参考訳(メタデータ) (2026-01-29T17:07:43Z) - VideoVLA: Video Generators Can Be Generalizable Robot Manipulators [86.70243911696616]
ロボット操作の一般化は、オープンワールド環境におけるロボットの展開に不可欠である。
本稿では,大容量ビデオ生成モデルをロボットVLAマニピュレータに変換する可能性を探る,シンプルなアプローチであるVideoVLAを提案する。
論文 参考訳(メタデータ) (2025-12-07T18:57:15Z) - Enhancing Generalization in Vision-Language-Action Models by Preserving Pretrained Representations [26.678553477485362]
本稿では,ロボット操作に適応しながら,事前学習した特徴をよりよく保存するフレームワークを提案する。
提案手法では, (i) 事前学習された特徴を保持するために, 凍結したビジョンを持つデュアルエンコーダ設計と, (ii) モデルの事前学習領域に整合した文字列に連続的なアクションを投入する文字列ベースのアクショントークン化器, (iii) ロボットのデモンストレーションと,空間的推論とアプライアンスを強調する視覚言語データセットを組み合わせた協調学習戦略の3つのコンポーネントを導入している。
論文 参考訳(メタデータ) (2025-09-14T20:08:56Z) - Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。
PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。
ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
論文 参考訳(メタデータ) (2025-08-13T13:54:51Z) - RoboScript: Code Generation for Free-Form Manipulation Tasks across Real
and Simulation [77.41969287400977]
本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。
自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。
我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
論文 参考訳(メタデータ) (2024-02-22T15:12:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。