論文の概要: E0.5: From Reconstructive to Future-Predictive 3D Foundations for Robotic World-Action Modeling

• arxiv url: http://arxiv.org/abs/2610.36011v1
• Date: Mon, 26 Oct 2026 17:00:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.187374
• Title: E0.5: From Reconstructive to Future-Predictive 3D Foundations for Robotic World-Action Modeling
• Title（参考訳）: E0.5:ロボット・ワールド・アクション・モデリングのための3Dファウンデーションの構築から将来予測へ
• Abstract要約: E0.5は3次元基礎モデルに基づいて構築された幾何学ネイティブな世界アクションモデルである。 E0.5はアクションとともに将来の3D状態を明示的に予測し、幾何学的世界力学を捉えることができる。
• 参考スコア（独自算出の注目度）: 63.31706199632287
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: World-action models (WAMs) offer a promising framework for embodied intelligence, yet mainstream approaches remain centered on video foundation models or vision-language models. Even when geometric features extracted by 3D models such as VGGT are incorporated, they are typically passed into a video model or VLM that serves as the primary backbone, leaving 3D geometry as an auxiliary input or prediction target rather than the native foundation for world modeling. We present E0.5, a geometry-native world-action model built directly on 3D foundation models. E0.5 introduces two key innovations. First, it adopts a 3D foundation model as the primary backbone, making 3D geometry the native representation for both world modeling and action prediction. Second, it explicitly predicts future 3D states together with actions, enabling the model to capture geometric world dynamics beyond action-only modeling or future video prediction. Experiments on RoboTwin 2.0 first demonstrate the effectiveness of E0.5 without embodied-data pretraining, achieving success rates of 89.90\% and 50.09\% under clean and randomized settings, respectively. Building on these results, we further pretrain E0.5 on more than 160k robot trajectories from AgiBotWorld-Beta, jointly learning robot actions and future geometry within the pretrained 3D foundation. This embodied pretraining improves mean real-world manipulation success rates by approximately 15 and 7 percentage points on AgileX Piper and Zerith H1, respectively. Together, these results demonstrate the potential of geometry-native foundations to acquire robot interaction knowledge and transfer it to physical manipulation. E0.5 embodies this geometry-native approach as a member of the VWA family of world-action models.
• Abstract（参考訳）: 世界行動モデル(WAM)は、インテリジェンスを具現化するための有望なフレームワークを提供するが、主流のアプローチはビデオファンデーションモデルやビジョン言語モデルに集中している。 VGGTのような3Dモデルによって抽出された幾何学的特徴が組み込まれても、通常はビデオモデルやVLMに渡され、主要なバックボーンとして機能し、3D幾何学は世界モデリングの土台ではなく、補助的な入力や予測の対象として残される。 E0.5は3次元基礎モデルに基づいて構築された幾何学ネイティブな世界アクションモデルである。 E0.5は2つの重要なイノベーションを導入している。 まず、3Dファウンデーションモデルを主要なバックボーンとして採用し、3D幾何学を世界モデリングとアクション予測の両方のネイティブ表現にする。 第二に、アクションとともに将来の3D状態を明示的に予測し、アクションのみのモデリングや将来のビデオ予測以上の幾何学的世界ダイナミクスを捉えることができる。 RoboTwin 2.0の実験は、まず、データ事前トレーニングを実施せずにE0.5の有効性を実証し、それぞれクリーン化およびランダム化環境で89.90\%と50.09\%の成功率を達成した。 これらの結果に基づいて,AgiBotWorld-Betaから160k以上のロボット軌道上でのE0.5の事前訓練を行い,事前訓練された3D基礎内のロボット行動と将来の幾何学を共同学習した。 この具体化された事前トレーニングは、それぞれAgileX PiperとZerith H1で、平均的な実世界の操作の成功率を約15と7ポイント改善します。 これらの結果は,ロボットインタラクションの知識を取得し,それを物理的操作に伝達する幾何学的基盤の可能性を示すものである。 E0.5は、この幾何学ネイティブなアプローチを世界行動モデルのVWAファミリーの一員として具現化している。

関連論文リスト

• UniFlowWAM: A Unified World-Action Model with Visual Semantics and 4D Geometry [40.38974033857527]
  シーンレベルの3Dフローは、3Dシーンポイントを追跡し、4D幾何学で世界表現を提供する。 我々は,UniFlowWAMを紹介した。UniFlowWAMは3次元シーンフローを視覚とアクションに匹敵する第3のモダリティを与える統一ワールド・アクション・モデルである。
  論文  参考訳（メタデータ） (2026-10-22T09:35:56Z)
• Geometric Action Model for Robot Policy Learning [68.6657929619782]
  汎用ロボットポリシーは、オブジェクト、カメラ、ロボットアクションが3D物理世界でどのように相互作用するかを推論しながら、ユーザーの指示に従う必要がある。 最近の視覚言語行動モデル(VLA)とビデオ世界行動モデル(WAM)は、大規模基盤モデルから強い意味や時間的先行を継承する。 本稿では,言語条件の操作ポリシーであるGeometric Action Model (GAM)を提案する。
  論文  参考訳（メタデータ） (2026-06-15T17:58:03Z)
• Robotic Manipulation is Vision-to-Geometry Mapping ($f(v) \rightarrow G$): Vision-Geometry Backbones over Language and Video Models [65.05130114320734]
  一般化可能なロボット制御の基礎は、広く採用されている視覚言語やビデオモデルではなく、視覚幾何学のバックボーンであるべきだと我々は主張する。 本研究では,事前訓練されたネイティブ3次元表現上でのアクション生成を直接条件付きで行うビジョン・ジオメトリ・アクション・モデルを提案する。 具体的には、VGAは従来の言語やビデオのバックボーンを事前訓練された3Dワールドモデルに置き換え、シームレスな視覚と幾何学のマッピングを確立する。
  論文  参考訳（メタデータ） (2026-04-14T15:57:16Z)
• PointWorld: Scaling 3D World Models for In-The-Wild Robotic Manipulation [48.807071017228964]
  我々は,3次元の点流として共有された3次元空間における状態と動作を統一する,大規模な事前学習型3次元世界モデルであるPointWorldを紹介した。 リアルタイム(0.1秒)の推論速度により、PointWorldは、操作のためのモデル予測制御(MPC)フレームワークに効率的に統合できる。 本研究では,実世界のフランカロボットが,物体の剛体押圧,変形,調音操作を行うことのできる1つの事前学習チェックポイントを実証した。
  論文  参考訳（メタデータ） (2026-01-07T10:29:12Z)
• E3D-Bench: A Benchmark for End-to-End 3D Geometric Foundation Models [78.1674905950243]
  3次元幾何学基礎モデル(GFM)の総合ベンチマークを初めて提示する。 GFMは、単一のフィードフォワードパスで密度の高い3D表現を直接予測し、スローまたは未使用のカメラパラメータを不要にする。 我々は16の最先端GFMを評価し、タスクやドメイン間の長所と短所を明らかにした。 すべてのコード、評価スクリプト、処理されたデータは公開され、3D空間インテリジェンスの研究が加速される。
  論文  参考訳（メタデータ） (2025-06-02T17:53:09Z)
• T3VIP: Transformation-based 3D Video Prediction [49.178585201673364]
  本稿では,シーンを対象部品に分解することで3次元動きを明示的にモデル化する3次元映像予測手法を提案する。 我々のモデルは、完全に教師なしであり、現実世界の性質を捉え、画像と点のクラウド領域における観察の手がかりがその学習信号を構成する。 我々の知る限り、我々のモデルは、静止カメラの未来をRGB-Dビデオで予測する最初の生成モデルである。
  論文  参考訳（メタデータ） (2022-09-19T15:01:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。