論文の概要: ForeAct3D: Policy-Grounded Future World Modeling for VLA Policies

• arxiv url: http://arxiv.org/abs/2610.04607v1
• Date: Sat, 03 Oct 2026 15:49:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 18:25:36.749726
• Title: ForeAct3D: Policy-Grounded Future World Modeling for VLA Policies
• Title（参考訳）: ForeAct3D: VLA政策の今後の展望
• Abstract要約: 我々は、ビジョン・ランゲージ・アクション・ポリシーの中で、ポリシーに基づく未来の世界モデリングのためのフレームワークであるForeAct3Dを紹介する。 ForeAct3D は LIBERO で平均98.3%、CALVIN で平均タスク長 3.73 を達成し、全てのスイートで基本方針を上回っている。
• 参考スコア（独自算出の注目度）: 28.246787329202586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robots need to anticipate how their actions will change the world, since manipulation success hinges on the resulting contacts and object motions. However, existing Vision-Language-Action (VLA) policies that predict future observations from shared features leave the forecast decoupled from the actions the policy will actually execute, and impose no physical constraints on how the scene may evolve. We introduce ForeAct3D, a framework for policy-grounded future world modeling within VLA policies. Learnable geometric queries decode depth, semantic segmentation, and camera pose from the policy representation into current and future semantic 3D scene states, and the future queries are conditioned on the policy-generated action chunk to ground the forecast in the planned interaction. A physical-consistency closure relates the two states through background staticity and instance-level rigidity, and anchors the wrist-camera pose to end-effector kinematics. These objectives shape the shared representation used for action generation during training, and no future prediction is required at inference. Without robot pretraining, ForeAct3D achieves 98.3\% average success on LIBERO and an average task length of 3.73 on CALVIN, outperforming its base policy on every suite. Ablations show that semantic 3D supervision, physical consistency, and action conditioning each improve manipulation performance, and that action conditioning substantially improves future object localization. Real-world experiments on spatial placement, object insertion, and sequential manipulation further raise average success from 6.7\% to 37.8\% over the base policy. The project page and code are available at https://github.com/anthonytao80-crypto/ForeAct3D.
• Abstract（参考訳）: ロボットは、自分の行動が世界を変えることを予測する必要がある。 しかしながら、共有機能から将来の観測を予測する既存のビジョン・ランゲージ・アクション(VLA)ポリシーは、そのポリシーが実際に実行するアクションから切り離され、シーンがどのように進化するかに物理的な制約を課さない。 我々は、VLAポリシー内でポリシーを基礎とした未来の世界モデリングのためのフレームワークであるForeAct3Dを紹介する。 学習可能な幾何学的クエリは、ポリシー表現から現在の3Dシーン状態と将来のセマンティックシーン状態へのデコード、セマンティックセグメンテーション、カメラのポーズを示し、将来のクエリは、計画されたインタラクションの予測を下方修正するためにポリシー生成アクションチャンクに条件付けされる。 物理的に一貫性のあるクロージャは、背景の静的性とインスタンスレベルの剛性を通して2つの状態と関連し、手首カメラが運動学の終端に作用する。 これらの目的は、トレーニング中にアクション生成に使用される共有表現を形成し、推論に将来の予測は不要である。 ロボットの事前訓練がなければ、ForeAct3D は LIBERO で平均 9.3 % 、CALVIN で平均 3.73 のタスク長を達成した。 アブレーションにより、セマンティック3Dの監督、物理的整合性、動作条件付けは操作性能を向上し、動作条件付けは将来のオブジェクトのローカライゼーションを大幅に改善することが示された。 空間配置、物体挿入、シーケンシャルな操作に関する実世界の実験は、基本方針に対する平均的な成功を6.7\%から37.8\%に引き上げた。 プロジェクトページとコードはhttps://github.com/anthonytao80-crypto/ForeAct3Dで公開されている。

関連論文リスト

• Magic-W0: A Structured World-Action Foundation Model for Physical Intelligence [15.387507304280179]
  我々は、構造化された物理的状態の進化と連続的な動作を共同でモデル化する世界行動基盤モデルMagic-W0を紹介する。 現在の状態は、視覚言語コンテキストと現在の3D幾何を組み合わせたものであり、遷移は3Dモーションで表される。 将来の状態は、タスク関連の結果を記述する将来のセマンティックスによって表現される。
  論文  参考訳（メタデータ） (2026-09-30T14:49:55Z)
• GeomVLA: Unifying Scene, Motion, and Action in 3D [21.79752613135453]
  ロボット中心の3D座標フレーム内での知覚,潜時シーンの予測,行動生成を統一するモデルであるGeomVLAを提案する。 提案手法は, 深度とカメラキャリブレーションを用いた空間的に接地された3次元シーントークンに, 予め訓練したVLM特徴を持ち上げる。 本稿では,3D におけるシーンポイントの移動の遅延表現を学習するタスク条件付きモジュールである 3D Scene Trajectory Denoiser を紹介する。
  論文  参考訳（メタデータ） (2026-09-12T08:51:52Z)
• GaussianDream++: Efficient 3D Gaussian World Modeling for Robotic Manipulation [55.47130289185285]
  VLA(Vision-Language-Action)ポリシーは、高度な言語条件のロボット操作である。 我々は textbfWorld State Tokens と textbfWorld Prediction Tokens を VLA バックボーンに直接挿入する,コンパクトでポリシーネイティブな拡張である textbfMethodname を提示する。
  論文  参考訳（メタデータ） (2026-08-26T11:41:55Z)
• Geometric Action Model for Robot Policy Learning [68.6657929619782]
  汎用ロボットポリシーは、オブジェクト、カメラ、ロボットアクションが3D物理世界でどのように相互作用するかを推論しながら、ユーザーの指示に従う必要がある。 最近の視覚言語行動モデル(VLA)とビデオ世界行動モデル(WAM)は、大規模基盤モデルから強い意味や時間的先行を継承する。 本稿では,言語条件の操作ポリシーであるGeometric Action Model (GAM)を提案する。
  論文  参考訳（メタデータ） (2026-06-15T17:58:03Z)
• GHOST: Hierarchical Sub-Goal Policies for Generalizing Robot Manipulation [54.305781492241785]
  本稿では,トレーニング分布を超えて一般化したビジュモータ操作ポリシーを学習するための枠組みを提案する。 GHOSTは、(i)多視点RGB-D観測から、3Dエンドエフェクタ上の分布として次のサブゴールを予測する高レベルポリシーに制御を分解する。 一連のタスクの中で、この階層的な分解は、フラットな拡散ポリシーと比較して、パフォーマンスと堅牢性を一貫して改善します。
  論文  参考訳（メタデータ） (2026-06-08T18:08:01Z)
• GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
  GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。 実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
  論文  参考訳（メタデータ） (2026-03-18T00:52:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。