論文の概要: PointWAM: 3D World Action Modeling for Dexterous Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2610.02840v1
• Date: Fri, 02 Oct 2026 05:31:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.229887
• Title: PointWAM: 3D World Action Modeling for Dexterous Robotic Manipulation
• Title（参考訳）: PointWAM:Dexterous Robotic Manipulationのための3次元世界行動モデリング
• Abstract要約: ポイントワールドアクションモデル(PointWAM)は,世界をシーン(環境)と手(俳優)に分解する3次元世界アクションモデルである。 PointWAMは、シーンと手が時間とともに3D空間でどのように進化するかを予測する。 色付きの点雲と言語命令を与えられたPointWAMは、シーンと手が時間とともに3D空間でどのように進化するかを予測し、予測ハンドモーションをロボットのアクションに再ターゲットする。
• 参考スコア（独自算出の注目度）: 74.3053660194713
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: World action models jointly learn to forecast world dynamics and predict robot actions, such that the learned internal world dynamics guide accurate actions. Existing approaches typically represent the world as RGB frames or latent counterparts while predicting actions as end-effector poses or joint angles, but they often struggle to capture the 3D spatial structure and contact geometry central to dexterous manipulation. We introduce Point World Action Model (PointWAM), a 3D world action model that decomposes the world into a scene (i.e., environment) and hands (i.e., actor), and jointly forecasts both as 3D point trajectories within a shared space-time coordinate frame. This explicit, disentangled representation enables effective pre-training on large-scale human demonstration videos without requiring any task-specific object or keypoint selection. Given a colored point cloud and a language instruction, PointWAM predicts how the scene and hands co-evolve in 3D space over time, then retargets the forecast hand motion to robot actions. Pre-training on human videos improves average DexJoCo success by 56.9 percentage points, and scene-trajectory supervision adds 10.9 points over forecasting the hands alone. With both, PointWAM surpasses the prior state of the art on ten DexJoCo tasks by 11.7 points and outperforms strong VLAs on a real robot.
• Abstract（参考訳）: ワールドアクションモデルは、学習された内部のダイナミクスが正確なアクションを導くように、ワールドダイナミクスを予測し、ロボットアクションを予測することを共同で学習する。 既存のアプローチは、通常、RGBフレームまたはラテントフレームとして世界を表現し、エンドエフェクターのポーズやジョイントアングルとしてアクションを予測するが、彼らはしばしば3次元空間構造や接触幾何学を巧妙な操作の中心として捉えようと苦労する。 本稿では,世界をシーン(環境)と手(アクター)に分解する3次元世界行動モデル(PointWAM)を紹介する。 この明示的で歪んだ表現は、タスク固有のオブジェクトやキーポイントの選択を必要とせずに、大規模な人間のデモビデオ上で効果的な事前訓練を可能にする。 色付きの点雲と言語命令を与えられたPointWAMは、シーンと手が時間とともに3D空間でどのように進化するかを予測し、予測ハンドモーションをロボットのアクションに再ターゲットする。 人間のビデオの事前トレーニングは、平均的なDexJoCoの成功率を56.9ポイント改善し、シーン・トラックの監督は手だけで予測するよりも10.9ポイント向上する。 ポイントWAMは、DexJoCoタスク10の最先端タスクを11.7ポイント上回り、実際のロボットで強いVLAを上回っている。

関連論文リスト

• AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation [61.436480565887905]
  汎用的なロボット操作は、シーンがどのように進化するかを予測する必要がある。 アクションラベル付きロボットビデオは、直接制御を監督するが、コストが高く、多様性に制限がある。 本稿では,Scalr Affordance と Affordance Heatmap によるオブジェクトの空き時間を表す,空き時間を考慮した World Action Model を提案する。
  論文  参考訳（メタデータ） (2026-09-16T14:07:06Z)
• Robot-Factored World Models via Robot Rendering [25.12876640584098]
  アクション条件付きビデオワールドモデルは、初期観測と行動信号から将来の観測を予測する。 本研究では,ロボット特異的な2つの要素を世界モデル外へ移動させるロボット駆動世界モデルを提案する。 実験により, レンダリングインタフェースはベクトル条件付きベースラインより優れており, 未知のロボットエンボディメント推論に一般化されていることがわかった。
  論文  参考訳（メタデータ） (2026-07-24T17:59:57Z)
• GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors [113.71148915419246]
  GRAILは3Dアセット、シミュレーター対応シーン、およびビデオファンデーションモデル(VFM)の先行データで構成され、物理的環境を再構築したりロボットを遠隔操作したりすることなく対話を合成するデジタル生成パイプラインである。 GRAILは、オブジェクト形状、カメラパラメータ、メートル法スケール、環境深度、ロボットが提案する文字がビデオ生成の前に知られ、再構成中に再利用される、完全に定義された3D構成から始まる。 我々は、回復した動作をヒューマノイドロボットに再ターゲティングし、補完的なタスク・ジェネラル・モルフォロジー・トラッカーを訓練する。 GRAILは、ピックアップ、オブジェクト操作、着座にまたがる2万以上のシーケンスを生成する
  論文  参考訳（メタデータ） (2026-06-03T17:57:45Z)
• PointAction: 3D Points as Universal Action Representations for Robot Control [42.12570897523391]
  本稿では,映像予測をロボット行動にブリッジするフレームワークであるPointActionについて,明示的なポイントベース4Dモデリングにより紹介する。 PointActionは、ロボットシーンにおける最先端の4D生成品質を実現し、シミュレーションにおいて既存のベースラインを上回り、事前トレーニング中に見えない2つの本物のロボットアームに一般化する。
  論文  参考訳（メタデータ） (2026-06-02T17:30:50Z)
• DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos [110.98100817695307]
  私たちはDreamDojoを紹介します。DreamDojoは、多種多様なインタラクションと、エゴセントリックな人間ビデオの44万時間から厳密なコントロールを学ぶ基礎的な世界モデルです。 本研究は, 遠隔操作, 政策評価, モデルベース計画など, 生成的世界モデルに基づくいくつかの重要な応用を可能にする。
  論文  参考訳（メタデータ） (2026-02-06T18:49:43Z)
• PointWorld: Scaling 3D World Models for In-The-Wild Robotic Manipulation [48.807071017228964]
  我々は,3次元の点流として共有された3次元空間における状態と動作を統一する,大規模な事前学習型3次元世界モデルであるPointWorldを紹介した。 リアルタイム(0.1秒)の推論速度により、PointWorldは、操作のためのモデル予測制御(MPC)フレームワークに効率的に統合できる。 本研究では,実世界のフランカロボットが,物体の剛体押圧,変形,調音操作を行うことのできる1つの事前学習チェックポイントを実証した。
  論文  参考訳（メタデータ） (2026-01-07T10:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。