論文の概要: XPACE: Joint World and Action Modeling from Heterogeneous Experience
- arxiv url: http://arxiv.org/abs/2609.17372v1
- Date: Tue, 15 Sep 2026 16:07:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.614065
- Title: XPACE: Joint World and Action Modeling from Heterogeneous Experience
- Title（参考訳）: XPACE:不均一な経験からの統合ワールドとアクションモデリング
- Abstract要約: 汎用ロボットは、多様な経験を生かし、アクションを選択し、それらのアクションがどのように世界を変えるかを予測する必要がある。
我々は,ワールドアクションモデルとシミュレータの両方を兼ね備えた,統一型世界モデルであるXPACEを紹介する。
ポリシーとシミュレーター間のビデオバックボーンを共有することで、視覚力学とアクションラベル付き人間とロボットのデモを学ぶためにアクションラベル付きビデオを使用する。
- 参考スコア（独自算出の注目度）: 49.17824968489423
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A general-purpose robot needs to draw on diverse experience, choose actions, and anticipate how those actions will change the world. We introduce XPACE, a unified embodied world model that serves as both a world action model, jointly predicting executable robot actions and future video, and a world simulator, predicting the visual consequences of prescribed actions. Our key insight is that video prediction can both connect heterogeneous experience to action learning and generate new experience for policy improvement. With a shared video backbone between the policy and simulator, we use action-unlabeled video to learn visual dynamics and action-labeled human and robot demonstrations to jointly learn video and action prediction. Building on this architecture, a coarse-to-fine training curriculum progressively emphasizes robot control while retaining human experience, allowing the policy to learn behaviors beyond those covered by robot demonstrations. Beyond learning from recorded experience, XPACE uses its simulator to create additional recovery supervision for the policy. Specifically, we adapt the simulator to its own generated context, synthesize deviation-recovery trajectories around expert demonstrations, and fine-tune the policy on filtered recovery examples. Experiments on XPENG's IRON humanoid robot show that heterogeneous training improves robustness and enables transfer of human-observed skills to tasks absent from robot demonstrations, while recovery data generated by the model's own simulator further improves real-world task completion. Together, these results demonstrate how joint world and action modeling connects learning from heterogeneous experience with simulation-driven policy self-improvement.
- Abstract（参考訳）: 汎用ロボットは、多様な経験を生かし、アクションを選択し、それらのアクションがどのように世界を変えるかを予測する必要がある。
我々は,世界アクションモデルとして機能し,ロボットアクションと将来のビデオの同時予測と,所定のアクションの視覚的結果を予測する世界シミュレータであるXPACEを紹介する。
私たちの重要な洞察は、ビデオ予測が異種体験と行動学習を結びつけることと、政策改善のための新たな体験を生み出すことができることです。
ポリシとシミュレータ間のビデオバックボーンの共有により、アクションラベル付きビデオを使用して、視覚力学とアクションラベル付き人間とロボットのデモを学習し、ビデオとアクション予測を共同で学習する。
このアーキテクチャに基づいて、粗大な訓練カリキュラムは、人間の経験を維持しながらロボットのコントロールを徐々に強調し、ロボットのデモでカバーされているもの以上の行動を学ぶことができる。
記録された経験から学ぶこと以外に、XPACEはシミュレータを使ってポリシーのさらなるリカバリ監視を作成する。
具体的には、シミュレータを独自のコンテキストに適応させ、専門家によるデモンストレーションに関する偏差回復軌道を合成し、フィルタされたリカバリ例に関するポリシーを微調整する。
XPENGのIRONヒューマノイドロボットの実験では、不均一なトレーニングにより堅牢性が向上し、ロボットのデモンストレーションから欠落したタスクに人的保護されたスキルを移すことが可能であり、モデル自身のシミュレータによって生成されたリカバリデータは、実際のタスク完了をさらに改善する。
これらの結果は、共同世界とアクションモデリングが、異種体験からの学習とシミュレーションによる政策自己改善とをどのように結び付けるかを示す。
関連論文リスト
- AnyWorld: Factorized Egocentric World Models for Cross-Embodiment Generalization [88.25615187835321]
我々は,クロス・エボディメント・ワールド・モデリング・フレームワークであるAnyWorldを提案する。
私たちのモデルは、アクション、カメラ、エンボディメントへのインタラクションを分解します。
大規模なヒューマンインタラクション事前トレーニングでモデルをトレーニングする。
論文 参考訳（メタデータ） (2026-08-29T12:55:15Z) - AdvDex: Learning Dexterous Manipulation from Human Demonstrations via Joint-Aligned Actions and Adversarial Learning [25.241504281004243]
本稿では,人間とロボットのデモから,器用な操作を学ぶためのフレームワークであるAdvDexを紹介する。
まず、人間の操作デモの大規模マルチモーダルデータセットであるOmniShareを紹介する。
第2に,手首ポーズが$mathrmSE(3)$および15指関節からなる標準動作表現であるJAAS(Joint-Aligned Action Space)を提案する。
第3に,学習した視覚表現における具体的情報を減らすために,ドメイン・アドバイサル・ラーニングを用いる。
論文 参考訳（メタデータ） (2026-08-14T07:19:06Z) - Learning Transferable Dynamics Priors from Action to World Modeling [22.976971391971617]
本研究では,ロボット学習のための移動可能なダイナミクスを学習するスケーラブルな方法として,行動条件付き世界モデリングについて検討する。
アクションがどのように視覚的なシーンの進化を駆動するかを予測するためのモデルを事前訓練することにより、結果の世界モデルは、外観レベルのビデオ生成を超えた再利用可能なインタラクションのダイナミクスをキャプチャする。
シミュレーションベンチマークと実ロボット設定による実験は、アクション条件付きワールドモデル事前学習が転送可能なダイナミクスを先行することを示す。
論文 参考訳（メタデータ） (2026-06-28T17:01:55Z) - PlayWorld: Learning Robot World Models from Autonomous Play [8.710835027281465]
対話体験から高忠実度ビデオワールドシミュレータをトレーニングするための,シンプルでスケーラブルで完全自律的なパイプラインであるPlayWorldを紹介する。
PlayWorldは、教師なしのロボットのセルフプレイから完全に学習できる最初のシステムであり、自然にスケーラブルなデータ収集を可能にする。
実験により、PlayWorldは、人間が収集したデータに基づいてトレーニングされた世界モデルによって捉えられていないコンタクトリッチなインタラクションに対して、高品質で物理的に一貫した予測を生成することが示された。
論文 参考訳（メタデータ） (2026-03-09T23:58:07Z) - DreamGen: Unlocking Generalization in Robot Learning through Video World Models [120.25799361925387]
DreamGenは、ニューラルトラジェクトリを通じて行動や環境を一般化するロボットポリシーをトレーニングするためのパイプラインだ。
私たちの研究は、手作業によるデータ収集を超えて、ロボット学習をスケールするための、有望な新たな軸を確立します。
論文 参考訳（メタデータ） (2025-05-19T04:55:39Z) - Pre-Trained Video Generative Models as World Simulators [59.546627730477454]
本研究では,事前学習した映像生成モデルを制御可能な世界シミュレータに変換するための動的世界シミュレーション(DWS)を提案する。
条件付き動作と生成した視覚的変化の正確なアライメントを実現するために,軽量で普遍的な動作条件付きモジュールを導入する。
実験により、DWSは拡散モデルと自己回帰変換モデルの両方に汎用的に適用可能であることが示された。
論文 参考訳（メタデータ） (2025-02-10T14:49:09Z) - VITAL: Interactive Few-Shot Imitation Learning via Visual Human-in-the-Loop Corrections [10.49712834719005]
イミテーション・ラーニング(IL)はロボット工学において強力なアプローチとして登場し、ロボットは人間の行動を模倣することで新しいスキルを身につけることができる。
その可能性にもかかわらず、ILのデータ収集プロセスは、ロジスティックな困難と高品質なデモンストレーションの獲得に伴う高コストのため、依然として重要な課題である。
本稿では,シミュレーションにおけるデータ拡張を通じて,少数の実演から大規模データ生成を提案する。
論文 参考訳（メタデータ） (2024-07-30T23:29:47Z) - Dreamitate: Real-World Visuomotor Policy Learning via Video Generation [49.03287909942888]
本研究では,与えられたタスクの人間による実演の映像拡散モデルを微調整するビジュモータポリシー学習フレームワークを提案する。
我々は,新しいシーンの画像に条件付きタスクの実行例を生成し,この合成された実行を直接使用してロボットを制御する。
論文 参考訳（メタデータ） (2024-06-24T17:59:45Z) - Learning Interactive Real-World Simulators [96.5991333400566]
生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。
シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。
ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
論文 参考訳（メタデータ） (2023-10-09T19:42:22Z) - Learning Predictive Models From Observation and Interaction [137.77887825854768]
世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。
しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。
本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
論文 参考訳（メタデータ） (2019-12-30T01:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。