論文の概要: PointAction: 3D Points as Universal Action Representations for Robot Control

• arxiv url: http://arxiv.org/abs/2606.03943v1
• Date: Tue, 02 Jun 2026 17:30:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.220579
• Title: PointAction: 3D Points as Universal Action Representations for Robot Control
• Title（参考訳）: ポイントAction:ロボット制御のためのユニバーサルアクション表現としての3Dポイント
• Authors: Mutian Tong, Han Jiang, Qiao Feng, Lingjie Liu, Jiatao Gu,
• Abstract要約: 本稿では,映像予測をロボット行動にブリッジするフレームワークであるPointActionについて,明示的なポイントベース4Dモデリングにより紹介する。 PointActionは、ロボットシーンにおける最先端の4D生成品質を実現し、シミュレーションにおいて既存のベースラインを上回り、事前トレーニング中に見えない2つの本物のロボットアームに一般化する。
• 参考スコア（独自算出の注目度）: 42.12570897523391
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video-Action Models (VAMs) leverage the broad visual dynamics captured by pre-trained video diffusion models, offering a promising path toward generalizable robot manipulation. However, RGB-only video rollouts are not directly actionable: they leave metric 3D motion, contact geometry, and fine-grained spatial constraints under-specified, making action grounding ambiguous. Meanwhile, scaling action supervision across diverse tasks and embodiments remains costly. We present PointAction, a framework that bridges video predictions to robot actions through explicit point-based 4D modeling. PointAction fine-tunes a foundation video generation model to jointly predict future RGB frames and dynamic 3D pointmaps, producing temporally consistent 3D motion of task-relevant scene geometry. These point dynamics serve as a structured, embodiment-agnostic action interface, which a diffusion-based action decoder maps to executable robot actions. By using metric 3D point dynamics as the interface between video prediction and control, PointAction reduces the ambiguity of RGB-only action grounding and supports transfer across tasks and embodiments with limited action supervision. Experiments show that PointAction achieves state-of-the-art 4D generation quality on robot scenes, outperforms existing baselines in simulation, and generalizes to two real robot arms unseen during pretraining.
• Abstract（参考訳）: Video-Action Models (VAM) は、事前訓練されたビデオ拡散モデルによってキャプチャされた幅広い視覚力学を活用し、汎用可能なロボット操作への有望な道を提供する。 しかし、RGBのみのビデオロールアウトは直接動作可能ではなく、メートル法的な3Dモーション、接触形状、細粒度の空間的制約を残しているため、アクション基盤は曖昧である。 一方、多様なタスクや実施状況にまたがる行動監視のスケーリングは、依然としてコストがかかる。 本稿では,映像予測をロボット行動にブリッジするフレームワークであるPointActionについて,明示的なポイントベース4Dモデリングにより紹介する。 PointActionは、将来のRGBフレームと動的3Dポイントマップを共同で予測する基礎的なビデオ生成モデルを微調整し、タスク関連シーン幾何学の時間的に一貫した3Dモーションを生成する。 これらのポイントダイナミクスは、拡散に基づくアクションデコーダが実行可能なロボットアクションにマップする、構造化されたエンボディメントに依存しないアクションインターフェースとして機能する。 ビデオ予測と制御のインターフェースとしてメトリック3Dポイントダイナミクスを使用することで、PointActionはRGBのみのアクショングラウンドのあいまいさを低減し、限られたアクション監視を伴うタスクや実施物間の移動をサポートする。 実験によると、PointActionはロボットシーンで最先端の4D生成品質を達成し、シミュレーションにおいて既存のベースラインを上回り、事前訓練中に見えない2つの本物のロボットアームに一般化する。

関連論文リスト

• AIM: Intent-Aware Unified world action Modeling with Spatial Value Maps [7.710034405765985]
  AIMは、明示的な空間的インターフェースを通じてこのギャップを橋渡しする意図認識の統一世界行動モデルである。 事前訓練されたビデオ生成モデルに基づいて構築されたAIMは、共有変換器アーキテクチャ内の将来の観測と値マップを共同でモデル化する。 RoboTwin 2.0ベンチマークの実験では、AIMは平均94.0%の成功率に達し、以前の統合された世界行動ベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2026-04-13T07:48:58Z)
• FunRec: Reconstructing Functional 3D Scenes from Egocentric Interaction Videos [134.8812117202239]
  本稿では,エゴセントリックなRGB-Dインタラクションビデオから直接室内シーンの3次元ディジタル双対を再構成するFunRecを提案する。 本研究では,URDF/USDエクスポートのシミュレーション,手指のアベイランスマッピング,ロボットとシーンのインタラクションへの応用を実演する。
  論文  参考訳（メタデータ） (2026-04-07T09:22:12Z)
• Robo3R: Enhancing Robotic Manipulation with Accurate Feed-Forward 3D Reconstruction [70.06600045165905]
  3D空間認識は、一般的なロボット操作の基本であるが、信頼性が高く高品質な3D形状の取得は依然として困難である。 本稿では,RGB画像やロボットの状態から直接,正確な距離スケールのシーン形状をリアルタイムで予測する操作可能な3次元再構成モデルであるRobo3Rを紹介する。 我々は、ロボット操作のためのこの代替3Dセンシングモジュールの約束を示唆し、パフォーマンスの連続的な向上を観察する。
  論文  参考訳（メタデータ） (2026-02-10T18:58:15Z)
• GAF: Gaussian Action Field as a 4D Representation for Dynamic World Modeling in Robotic Manipulation [47.471097712217386]
  既存のアプローチは、視覚入力から直接アクションを予測するV-A(Vision-to-A)パラダイムや、中間的な3D表現を活用するV-3D-to-A(Vision-to-A)パラダイムに従うのが一般的である。 本稿では,ガウスアクション場(GAF)を介して動作認識4D表現から直接行動推論を可能にするV-4D-Aフレームワークを採用する。 実験では、+11.5385 dB PSNR、+0.3864 SSIM、-0.5574 LPIPSの改善を達成し、平均+7.3%の成功を上げた。
  論文  参考訳（メタデータ） (2025-06-17T02:55:20Z)
• VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
  VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。 VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
  論文  参考訳（メタデータ） (2025-03-10T10:04:58Z)
• Robot See Robot Do: Imitating Articulated Object Manipulation with Monocular 4D Reconstruction [51.49400490437258]
  本研究は,1つの単分子RGB人間の実演から音声による物体操作を模倣する手法を開発した。 まず,モノクロ映像から3次元部分運動を復元する4次元微分可能部品モデル(4D-DPM)を提案する。 この4D再構成を前提として、ロボットは物体の軌道を再現し、両腕の動きを計画し、実証された物体部分の動きを誘導する。 両用するYuMiロボットを用いて,4D-DPMの3D追跡精度を実写3D部分軌跡に基づいて評価し,9つのオブジェクトに対してRSRDの物理的実行性能を評価した。
  論文  参考訳（メタデータ） (2024-09-26T17:57:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。