論文の概要: PointZero: 3D Point Track Completion for Learning Transferable 3D Dynamics

• arxiv url: http://arxiv.org/abs/2609.19142v1
• Date: Wed, 16 Sep 2026 17:59:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.93013
• Title: PointZero: 3D Point Track Completion for Learning Transferable 3D Dynamics
• Title（参考訳）: PointZero: 伝達可能な3Dダイナミクスを学習するための3Dポイントトラック補完
• Abstract要約: 本研究では,移動可能な3Dダイナミックスをロボットデータなしで学習するための事前学習目的として,3Dポイントトラック補完について検討する。 本研究では,ロボットの動作ラベルを必要とせずに,よりリッチな3Dダイナミックスを実現することを実証する。 フレキシブルで表現力のある変換器であるPointZeroは、同じデータ上で先行メソッドよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 59.78822532381607
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: World models endow perceptual systems with the ability to predict how scenes evolve under interaction. They are most beneficial when trained on diverse volumes of data, to instill a rich prior into downstream applications. Existing methods typically require robot action labels to learn action-conditioned 3D dynamics, which excludes web video data from the training pool. We study 3D point track completion as a pre-training objective for learning transferable 3D dynamics without robot data. Given a single RGB-D observation and sparse partial 3D trajectories (tracks), we predict future 3D tracks of all observed points. We show this objective produces a rich 3D dynamics prior, without requiring robot action labels. We contribute a diverse dataset of 2.9 million synthetic frames spanning deformable, articulated, and rigid objects, and use it to train PointZero. We show that a flexible and expressive transformer, PointZero, outperforms prior methods on the same data. We demonstrate the utility of our pre-training objective by post-training PointZero for two downstream applications: (1) action-conditioned 3D dynamics prediction and (2) imitation learning. When fine-tuned to condition on end-effector pose, PointZero outperforms the baselines on the recent PGND 3D dynamics benchmark. When fine-tuned to predict robot actions and 3D tracks, PointZero outperforms or matches the baselines on 6/7 simulated and real-world robot manipulation tasks. We furthermore evaluate training PointZero from scratch to isolate the benefits of our proposed architecture from those of our proposed pre-training objective and dataset. We release the dataset, checkpoints, and full training recipe.
• Abstract（参考訳）: 世界モデルは、相互作用の下でシーンがどのように進化するかを予測する能力を持つ知覚システムを提供する。 さまざまな量のデータをトレーニングして、下流のアプリケーションにリッチな事前注入を行う場合に最も有益である。 既存の方法は、通常、アクション条件付き3Dダイナミクスを学ぶためにロボットアクションラベルを必要とし、トレーニングプールからWebビデオデータを除外する。 本研究では,移動可能な3Dダイナミックスをロボットデータなしで学習するための事前学習目的として,3Dポイントトラック補完について検討する。 単一のRGB-D観測と疎部分的な3次元軌跡(トラック)を考慮し,全観測点の将来の3次元軌跡を予測した。 本研究では,ロボットの動作ラベルを必要とせずに,よりリッチな3Dダイナミックスを実現することを実証する。 変形性、調音性、硬い物体にまたがる290万の合成フレームの多様なデータセットを提供し、PointZeroのトレーニングに利用します。 フレキシブルで表現力のある変換器であるPointZeroは、同じデータ上で先行メソッドよりも優れていることを示す。 本研究では,(1)動作条件付き3Dダイナミックス予測と(2)模倣学習の2つのダウンストリームアプリケーションに対して,PointZeroの訓練後における事前学習目標の有用性を実証する。 エンドエフェクタのポーズの条件に微調整された場合、PointZeroは最近のPGND 3D dynamicsベンチマークのベースラインを上回っている。 ロボットのアクションや3Dトラックの予測を微調整すると、PointZeroは6/7のシミュレーションと現実世界のロボット操作のベースラインを上回ったり、マッチする。 さらに、提案した学習対象とデータセットから提案したアーキテクチャの利点を分離するために、ゼロからPointZeroのトレーニングを評価する。 データセット、チェックポイント、フルトレーニングレシピをリリースしています。

関連論文リスト

• 3PoinTr: 3D Point Tracks for Robot Manipulation Pretraining from Casual Videos [8.359830715928242]
  3PoinTrは、カジュアルで制約のない人間のビデオからロボットポリシーを事前訓練する手法だ。 3PoinTrは、トランスフォーマーアーキテクチャを使用して、3Dポイントトラックを中間的なエンボディメントに依存しない表現として予測する。 3PoinTrは軽量で表現力のあるアーキテクチャのため、より正確で高品質なポイントトラックを生成する。
  論文  参考訳（メタデータ） (2026-03-09T15:20:26Z)
• CLAMP: Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining [4.039082584778385]
  3次元多視点動作記述型ロボットマニピュレーション事前学習(CLAMP)のコントラスト学習について紹介する。 RGB-D画像とカメラ外部画像から計算した統合点雲から、深度と3次元座標によるマルチビュー4チャンネル画像観察を再レンダリングした。 事前訓練されたエンコーダは、オブジェクトの幾何学的および位置的情報とロボットのアクションパターンを関連付けることを学習する。
  論文  参考訳（メタデータ） (2026-01-31T23:32:54Z)
• PointWorld: Scaling 3D World Models for In-The-Wild Robotic Manipulation [48.807071017228964]
  我々は,3次元の点流として共有された3次元空間における状態と動作を統一する,大規模な事前学習型3次元世界モデルであるPointWorldを紹介した。 リアルタイム(0.1秒)の推論速度により、PointWorldは、操作のためのモデル予測制御(MPC)フレームワークに効率的に統合できる。 本研究では,実世界のフランカロボットが,物体の剛体押圧,変形,調音操作を行うことのできる1つの事前学習チェックポイントを実証した。
  論文  参考訳（メタデータ） (2026-01-07T10:29:12Z)
• 4D Visual Pre-training for Robot Learning [71.22906081161324]
  ロボット工学のためのWebスケールデータセットから得られた一般的な視覚表現は、近年大きな成功を収めている。 しかし、これらの事前訓練された表現は、主に2D画像に基づいており、世界の固有の3Dの性質を無視している。 代替として、すべての3D表現を改善することのできる、一般的なビジュアル事前学習フレームワークを模索しています。 我々のフレームワークはFVPと呼ばれ、現実世界のロボット学習のための新しい4Dビジュアル事前学習フレームワークである。
  論文  参考訳（メタデータ） (2025-08-24T07:06:56Z)
• Pre-training with 3D Synthetic Data: Learning 3D Point Cloud Instance Segmentation from 3D Synthetic Scenes [9.632798041899289]
  本稿では,3次元クラウドインスタンスセグメンテーションモデルをトレーニングするために,3次元合成データを用いた事前学習を提案する。 我々は、生成したデータを3Dシーンに挿入するために、Point-Eで直接3Dポイントクラウドデータを生成する。 実験では,事前学習法とベースライン法を比較し,性能改善を示した。
  論文  参考訳（メタデータ） (2025-03-31T15:42:10Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [111.16358607889609]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
  周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。 移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-12T15:30:02Z)
• Learning 3D Dynamic Scene Representations for Robot Manipulation [21.6131570689398]
  ロボット操作のための3Dシーン表現は、永続性、完全性、連続性という3つの重要なオブジェクト特性を捉えなければならない。 本研究では3次元動的表現(DSR)を導入し,オブジェクトを同時に検出,追跡,再構成し,そのダイナミクスを予測する。 本稿では,DSRを段階的に構築・洗練するために,複数の相互作用を通して視覚的観察を集約することを学ぶDSR-Netを提案する。
  論文  参考訳（メタデータ） (2020-11-03T19:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。