論文の概要: GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation
- arxiv url: http://arxiv.org/abs/2609.05588v1
- Date: Fri, 04 Sep 2026 17:16:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 13:11:34.772953
- Title: GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation
- Title（参考訳）: GE-Act 2.0:ロボットマニピュレーションのためのワールドアクションモデルの準備とスケーリング
- Abstract要約: 本稿では,ジェニー・エンスペクタ法 2.0 (GE-Act 2.0) について紹介する。
制御指向オートエンコーダ(CoAE)、ワンステップビジュアルプランナー(SVP)、逆ダイナミクスモデル(IDM)を組み合わせている。
それらのコンポーネントは、知識に整合した選択最適化(KASO)で共同で訓練され、記録された行動に適合していると判断された予測された未来のみを選択することで、ミスマッチした監視を減らす。
- 参考スコア（独自算出の注目度）: 63.853929983870955
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: World-action models (WAM) predict future states to guide robot actions, enabling learning from both action-free video and action-labeled interaction. Most inherit pretrained video generators, leaving WAM pretraining and scaling underexplored. We introduce Genie Envisioner Act 2.0 (GE-Act 2.0), a world-action model whose trainable generative and action components are all initialized from scratch on manipulation data. It combines a control-oriented autoencoder (CoAE), a single-step visual planner (SVP), and an inverse dynamics model (IDM). CoAE retains action- and instruction-relevant information under aggressive compression, while SVP produces a complete future state in one differentiable pass, so visual planning and inverse dynamics can be pretrained separately on complementary data. The components are then jointly trained with knowledge-aligned selective optimization (KASO), which reduces mismatched supervision by selecting only predicted futures judged behaviorally compatible with the recorded action. We evaluate pretrained checkpoints directly, without per-task fine-tuning, on 100 tasks across 20 manipulation skill groups with held-out scenes, backgrounds, lighting, and object instances. Scaling co-training data from 300 to 30,000 hours raises success from 17.1% to 44.1% on G1-OP and from 13.4% to 31.1% on G2-90D; despite comprising less than 2% of the co-training data, G2-90D improves by 17.7 points, suggesting cross-embodiment transfer. Gains span 19/20 and 18/20 skill groups, and skill-specific coverage strongly correlates with zero-shot out-of-distribution (OOD) success (Pearson r=0.80; Spearman rho=0.85). Under the same protocol, the model grounds object, color, shape, and position references in at least 90% of trials and follows explicit instructions even when they conflict with an already-committed behavior or a conventional scene association.
- Abstract（参考訳）: 世界行動モデル(WAM)は未来の状態を予測し、アクションフリーのビデオとアクションラベルによるインタラクションの両方から学習を可能にする。
多くは事前訓練されたビデオジェネレータを継承し、WAMの事前訓練とスケーリングは過小評価された。
本稿では,ジェニー・エンスペクタ法 2.0 (GE-Act 2.0) について紹介する。
制御指向オートエンコーダ(CoAE)、SVP(Single-step visual Planner)、IDM(Inverse dynamics model)を組み合わせている。
CoAEはアグレッシブ圧縮の下でアクション関連および命令関連情報を保持し、SVPは1つの異なるパスで完全な将来状態を生成するため、視覚計画と逆ダイナミクスは相補的なデータで個別に事前訓練することができる。
それらのコンポーネントは、知識に整合した選択最適化(KASO)で共同で訓練され、記録された行動に適合していると判断された予測された未来のみを選択することで、ミスマッチした監視を減らす。
我々は,20の操作スキルグループにまたがる100のタスクにおいて,タスクごとの微調整を行なわず,事前学習したチェックポイントを直接評価する。
300時間から30,000時間までのコトレーニングデータのスケーリングは、G1-OPで17.1%から44.1%、G2-90Dで13.4%から31.1%に向上するが、コトレーニングデータの2%未満にもかかわらず、G2-90Dは17.7ポイント改善し、クロスボディ転送が期待できる。
成績は19/20と18/20のスキルグループに及び、スキル固有のカバレッジはゼロショット・アウト・オブ・ディストリビューション(OOD)の成功と強く相関している(ピアソンr=0.80; スピアマンrho=0.85)。
同じプロトコルの下で、モデルは少なくとも90%の試験においてオブジェクト、色、形状、位置の参照を根拠にし、既にコミットされた行動や従来のシーンアソシエーションと矛盾しても明示的な指示に従う。
関連論文リスト
- DECOWAM: Decoupled Whole-Body World-Action Model for Legged Mobile Manipulation [9.154987050049268]
DeCOWAMは、カメラのエゴモーションをベースアクションとアームアクションとを分離する全身世界アクションモデルである。
固定されたリプレイプロトコルでは、DECWAMはFastWAM上での将来のビデオとアクションの予測を改善し、25.95Mのトレーニング可能な適応パラメータでアクションMSEを21.7%削減した。
これらの結果から,運動視点下でのパラメータ効率のよい共同視覚予測と全身制御を支援することが示唆された。
論文 参考訳（メタデータ） (2026-08-20T14:44:11Z) - HiTac-WAM: A Hierarchical Tactile World Action Model for Contact-Rich Robot Manipulation [16.161933557281447]
HiTac-WAMは階層的な触覚世界行動モデルであり、実行前に各アクションチャンクの将来の触覚状態を予測します。
計画では、HiTac-WAMは触覚予測とタスクプログレス推定を用いて、候補アクションチャンクをランク付けする。
実行には、選択された触覚予測を基準として保持する。
論文 参考訳（メタデータ） (2026-08-20T02:28:25Z) - Hydra-0: Action Flow for Generalist World Modeling and Control [64.88849745875753]
Hydra-0はアクションフローを条件とした世界モデルであり、ロボットの動きをピクセルの動きとして表現している。
我々の最良の構成は、90.4%のロボットモーションエラー、60.2%のオブジェクトモーションエラーを達成する。
訓練されたアクションヘッドは、タスク固有の専門家ロボットのデモンストレーションを必要とせずに、得られた潜在機能を実行可能なアクションにマッピングする。
論文 参考訳（メタデータ） (2026-08-18T17:59:30Z) - G0.5: One Autoregressive Stream for Robot Reasoning and Action [43.43377463558725]
本稿では,1つの変圧器デコーダが1つの目的の下で推論とアクショントークンを出力する,事前訓練された自己回帰VLAであるG0.5を紹介する。
推論とアクションは1組の重みを共有しているため、事前訓練されたVLMの能力は物理的な振る舞いへと引き継がれる。
G0.5は7つの独立した体制で最先端のモデルを上回っている。
論文 参考訳（メタデータ） (2026-08-12T07:26:47Z) - SABER: A Scalable Action-Based Embodied Dataset for Real-World VLA Adaptation [0.0]
SABERは、100時間以上の店内での自然な捕獲から構築された、高忠実な小売ロボティクスアクションデータセットである。
3つのアクション表現ストリームにわたる44.8Kのトレーニングサンプルを含んでいる。
10の小売業での平均成功率は29.3%である。
論文 参考訳（メタデータ） (2026-05-10T15:51:01Z) - Disentangled Robot Learning via Separate Forward and Inverse Dynamics Pretraining [28.30092786035367]
DeFIはビジュアルフォワードと逆ダイナミクスを分離し、各データソースを利用するための新しいフレームワークである。
今後の予測のために,多種多様な人・ロボットビデオで事前訓練された一般フォワード・ダイナミクス・モデル(GFDM)と,ラベルなしビデオ遷移から潜伏行動を予測するための自己教師付き学習によって訓練された一般逆ダイナミクス・モデル(GIDM)を紹介する。
CALVIN ABC-D と SimplerEnv の実験では、DeFI は CALVIN の平均タスク長 4.51 に達し、SimplerEnv-Frac は 51.2% 成功した。
論文 参考訳（メタデータ） (2026-03-27T17:20:10Z) - GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。
実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
論文 参考訳（メタデータ） (2026-03-18T00:52:02Z) - World Action Models are Zero-shot Policies [111.91938055103633]
本稿では,予めトレーニングされたビデオ拡散バックボーン上に構築されたワールドアクションモデル(WAM)であるDreamZeroを紹介する。
ビデオとアクションを共同でモデリングすることで、DreamZeroは異種ロボットデータから多様なスキルを効果的に学習する。
ビデオのみによる他のロボットや人間によるデモは、目に見えないタスクのパフォーマンスに対して42%以上の相対的な改善をもたらす。
論文 参考訳（メタデータ） (2026-02-17T15:04:02Z) - Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。
PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。
ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
論文 参考訳（メタデータ） (2025-08-13T13:54:51Z) - EgoAgent: A Joint Predictive Agent Model in Egocentric Worlds [119.02266432167085]
EgoAgentは単一変換器内での表現、予測、動作を同時に学習する統合エージェントモデルである。
EgoAgentは、タスクをインターリーブされた状態とアクションのシーケンスとして定式化することで、これらの能力間の因果的および時間的依存関係を明示的にモデル化する。
EgoAgentの画像分類,エゴセントリックな将来の状態予測,3次元人間の動作予測といった代表的課題に対する総合的な評価は,本手法の優位性を示している。
論文 参考訳（メタデータ） (2025-02-09T11:28:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。