論文の概要: From Predictive Geometry to Action: Learning Complementary Predictive Representations for Embodied Manipulation

• arxiv url: http://arxiv.org/abs/2610.28164v1
• Date: Tue, 20 Oct 2026 13:08:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.824494
• Title: From Predictive Geometry to Action: Learning Complementary Predictive Representations for Embodied Manipulation
• Title（参考訳）: 予測幾何学から行動へ:身体操作のための補完予測表現を学ぶ
• Abstract要約: 多視点ビデオクリップから補完的な予測表現を学習する2段階のフレームワークを提案する。 複数のVLAアーキテクチャとWAMをまたいだ転送を実演し、将来の世界と行動予測の両方を改善した。
• 参考スコア（独自算出の注目度）: 28.17874414691229
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective manipulation requires a policy to capture not only about the current scene geometry, but also about how that geometry will evolve under interaction. Existing approaches either augment policies with geometric information from current observations or introduce future prediction as auxiliary supervision, leaving open how predictive geometry should be represented for action generation. Therefore, we propose a two-stage framework, which learns complementary predictive representations from multi-view video clips. During pretraining, a frozen 3D foundation model provides dense geometric features that are compressed into predictive geometric representations and optimized to preserve scene structure and its temporal evolution. Action supervision is then applied to geometric transitions to extract a complementary motor representation that emphasizes action-relevant transitions. During downstream post-training, predictive geometry is transferred through geometry queries, while the motor representation guides intermediate features along the action-generation pathway. Future observations are used only as privileged supervision during training and are not required at inference time. Across LIBERO, LIBERO-Plus, SimplerEnv, and real-world bimanual and single-arm tasks, our approach consistently improves downstream policies, including an absolute gain of 10.4 percentage points on the WidowX evaluation. We further demonstrate transfer across multiple VLA architectures and WAMs, with improvements in both future-world and action prediction. The code will be available at https://github.com/xuxiaoxxxx/CPR.
• Abstract（参考訳）: 効果的な操作は、現在のシーンの幾何学だけでなく、その幾何学が相互作用の下でどのように進化するかを捉えるポリシーを必要とする。 既存のアプローチは、現在の観測から幾何情報でポリシーを強化するか、将来の予測を補助的な監督として導入し、アクション生成のためにどのように予測幾何学を表現すべきかをオープンにしておく。 そこで我々は,多視点ビデオクリップから補完的な予測表現を学習する2段階のフレームワークを提案する。 プレトレーニング中、凍結した3D基礎モデルは、予測幾何学的表現に圧縮され、シーン構造とその時間的進化を保存するために最適化される密集した幾何学的特徴を提供する。 行動監督は幾何学的遷移に適用され、行動関連遷移を強調する相補的な運動表現を抽出する。 下流でのトレーニング中、予測幾何は幾何学的クエリを通して転送され、モータ表現はアクション生成経路に沿って中間的な特徴を導く。 将来の観察は訓練中の特権的な監督としてのみ使用され、推論時に必要とされない。 LIBERO, LIBERO-Plus, SimplerEnv, および実世界のバイマンガルおよびシングルアームタスクにおいて, 本手法は, WidowX評価において絶対的な10.4ポイントのアップを含む下流ポリシーを継続的に改善する。 さらに、複数のVLAアーキテクチャとWAM間の転送を実証し、将来の世界と行動予測の両方を改善した。 コードはhttps://github.com/xuxiaoxxxx/CPRで入手できる。

関連論文リスト

• GeoWM: Efficient Direct World Modeling in Explicit Geometry [9.9795067033694]
  GeoWMは、特定の将来の地平線で将来の風景幾何学を直接予測する幾何学世界モデルである。 その結果,GeoWMは世界モデルよりも深度,カメラポーズ,3次元シーン形状を予測できることがわかった。
  論文  参考訳（メタデータ） (2026-10-05T20:52:18Z)
• Learning Propagation Geometry from Message-Passing Feedback [58.684834960683226]
  GeoFは、メッセージパッシングフィードバックを通じてノード機能と伝搬幾何学を進化させる、反復的なフレームワークである。 ベンチマークデータセットの実験は、GeoFが最先端のGNNベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-09-28T09:22:49Z)
• GeoWAM: Visual Geometry World Action Models for Autonomous Driving [14.05425826273513]
  自律運転のための視覚幾何学的世界行動モデルである textbfGeoWAM を紹介する。 将来の画像を予測する代わりに、GeoWAMは将来のシーン形状を予測するために事前訓練されている。 幾何条件のアクションヘッドは、これらの学習された幾何学的ダイナミクスを利用して将来のエゴ軌道を予測する。
  論文  参考訳（メタデータ） (2026-08-24T16:49:53Z)
• SG-WAM: Self-Guided World Modeling in Geometry-Aware Policy Space [12.198811616220835]
  World Action Models (WAM)は、将来の状態を予測するアクション生成を結合する。 本稿では,SG-WAMを提案する。SG-WAMは,政策由来の表現空間において,幾何学的行動条件の動的性を直接学習する自己誘導型フレームワークである。
  論文  参考訳（メタデータ） (2026-08-02T17:25:08Z)
• Learning 4D Geometric Priors for Inference-Efficient World Action Models [26.63633606928882]
  World Action Models (WAM) は、視覚的な未来のダイナミクスと実行可能なアクションシーケンスを共同でモデル化することで、ロボット操作の強力な可能性を示している。 我々は,アクション関連4次元幾何学的先行をビデオアクション表現に注入するマルチエキスパート・コレーティング・ワールド・アクション・モデルMECo-WAMを提案する。 LIBERO (98.2%)、RoboTwin 2.0 (92.6%)、そして現実世界の操作タスクに対する挑戦的な実験は、MECo-WAMが推論コストを増大させることなく操作性能を改善することを示した。
  論文  参考訳（メタデータ） (2026-07-06T07:10:22Z)
• Geometric Action Model for Robot Policy Learning [68.6657929619782]
  汎用ロボットポリシーは、オブジェクト、カメラ、ロボットアクションが3D物理世界でどのように相互作用するかを推論しながら、ユーザーの指示に従う必要がある。 最近の視覚言語行動モデル(VLA)とビデオ世界行動モデル(WAM)は、大規模基盤モデルから強い意味や時間的先行を継承する。 本稿では,言語条件の操作ポリシーであるGeometric Action Model (GAM)を提案する。
  論文  参考訳（メタデータ） (2026-06-15T17:58:03Z)
• HERMES++: Toward a Unified Driving World Model for 3D Scene Understanding and Generation [83.31948299340782]
  HERMES++は、単一のフレームワーク内で3Dシーン理解と将来の幾何学的予測を統合する統合駆動世界モデルである。 Hermes++は、将来のクラウド予測と3Dシーン理解タスクの両方において、優れたパフォーマンスと優れたスペシャリストのアプローチを実現している。
  論文  参考訳（メタデータ） (2026-04-30T17:59:58Z)
• GLaD: Geometric Latent Distillation for Vision-Language-Action Models [106.53332923530245]
  GLaDは、知識蒸留による事前学習中に3次元の幾何学的先行を組み込んだ幾何学的認識型視覚・言語・アクション(VLA)フレームワークである。 GLaDは4つのLIBEROタスクスイートの平均成功率は94.1%で、同じ事前トレーニングデータを使用するUniVLA(92.5%)を上回っている。
  論文  参考訳（メタデータ） (2025-12-10T13:07:27Z)
• Policy Pre-training for End-to-end Autonomous Driving via Self-supervised Geometric Modeling [96.31941517446859]
  PPGeo (Policy Pre-training via Geometric Modeling) は,視覚運動運転における政策事前学習のための,直感的かつ直接的な完全自己教師型フレームワークである。 本研究では,大規模な未ラベル・未校正動画の3次元幾何学シーンをモデル化することにより,ポリシー表現を強力な抽象化として学習することを目的とする。 第1段階では、幾何モデリングフレームワークは、2つの連続したフレームを入力として、ポーズと深さの予測を同時に生成する。 第2段階では、視覚エンコーダは、将来のエゴモーションを予測し、現在の視覚観察のみに基づいて測光誤差を最適化することにより、運転方針表現を学習する。
  論文  参考訳（メタデータ） (2023-01-03T08:52:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。