論文の概要: VidAct: Learning Manipulation from In-the-Wild Videos with Object-Centric 3D Awareness

• arxiv url: http://arxiv.org/abs/2609.36870v1
• Date: Tue, 29 Sep 2026 07:08:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.257273
• Title: VidAct: Learning Manipulation from In-the-Wild Videos with Object-Centric 3D Awareness
• Title（参考訳）: VidAct:物体中心の3D認識によるWildビデオからの学習操作
• Abstract要約: VidActは、オブジェクト中心の3D対応操作ポリシーをタスクごとに単一のモノクロビデオから学習する効率的なビデオ・ロボット・フレームワークである。 人、ロボット、生成されたビデオ、インターネットビデオに関する実験は、幅広いビデオ適用性とゼロショットデプロイメントを示している。
• 参考スコア（独自算出の注目度）: 49.51372131195645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video demonstrations offer a scalable alternative to costly robot data for learning manipulation, yet existing reconstruction-based approaches often rely on constrained camera viewpoints or human-to-robot retargeting, while the reconstructed trajectories are difficult to adapt to new objects configurations without distorting the trajectory shape. Another key limitation is that the resulting policies often lack precise object-level 3D geometry awareness, limiting object grounding and object shape awareness critical for precise manipulation. To bridge these gaps, we propose VidAct, an efficient video-to-robot framework that learns object-centric, 3D-aware manipulation policies from a single monocular video per task and enables zero-shot real-world deployment. VidAct consists of three key components. First, VidAct reconstructs object meshes and motion from arbitrary demo videos and canonicalizes the motion in the static object frame, avoiding embodiment-specific retargeting and accommodating diverse camera viewpoints. Second, VidAct employ residual trajectory transfer for adapting the reconstructed motion to novel object configurations while preserving its motion shape. Finally, as the key policy-learning component, VidAct predicts simulation-provided privileged complete-object point clouds at each frame as an auxiliary task while retaining RGB-only deployment, providing dense object-centric supervision over both object pose and 3D geometry. Experiments on human, robot, generated, and internet videos demonstrate broad video applicability and zero-shot deployment. Per-frame complete-object 3D supervision improves policy generalization and sim-to-real success, while residual trajectory transfer enables reliable trajectory adaptation with better shape preservation.
• Abstract（参考訳）: ビデオデモは、コストのかかるロボットデータに代わるスケーラブルな代替手段を提供するが、既存の再構成ベースのアプローチは、制約のあるカメラ視点や人間とロボットのリターゲティングに依存していることが多い。 もう一つの重要な制限は、結果として生じるポリシーは、しばしば正確なオブジェクトレベルの3D幾何学的認識が欠如しており、オブジェクトの接地やオブジェクトの形状認識が正確な操作に欠如していることである。 これらのギャップを埋めるため,タスク毎に1つのモノクロビデオからオブジェクト中心の3D対応操作ポリシーを学習し,ゼロショットのリアルタイム展開を可能にする,効率的なビデオ・ロボット・フレームワークであるVidActを提案する。 VidActは3つのキーコンポーネントから構成される。 まず、VidActは任意のデモビデオからオブジェクトメッシュとモーションを再構築し、静的なオブジェクトフレーム内の動きを標準化する。 第二に、VidActは、その動きの形状を保ちながら、再構成された動きを新しい物体の形状に適応させるために残留軌道伝達を用いる。 最後に、鍵となるポリシ学習コンポーネントとして、VidActは、RGBのみのデプロイメントを維持しながら、各フレームにおけるシミュレーションによって提供される特権的な完全オブジェクトポイントクラウドを補助タスクとして予測し、オブジェクトポーズと3D幾何学の両方に対して、オブジェクト中心の集中性を提供する。 人、ロボット、生成されたビデオ、インターネットビデオに関する実験は、幅広いビデオ適用性とゼロショットデプロイメントを示している。 フレームごとの完全オブジェクト3D監視は、ポリシーの一般化とsim-to-realの成功を改善する一方、残留軌跡移動は、より優れた形状保存による信頼性の高い軌道適応を可能にする。

関連論文リスト

• V2-STRep: VLM-Grounded Structured Task Representations for Reusable Robot Skills Acquired from Generated Videos [7.475708314963595]
  V2-STRepは、VLMで構築されたタスク表現を通じて、生成された動画の動きを再利用可能なロボットスキルに変換するフレームワークである。 VLMを用いた2次元画像空間キューをRGB-D観測により3次元にリフトし,課題形状と候補把握ポーズを再構成する。 6つの実世界の操作タスクの実験では、ベースラインを越えた実行の成功、得られたスキルの信頼性の高いクロスシーン転送、変更したデプロイメント命令への適応が示されている。
  論文  参考訳（メタデータ） (2026-09-17T15:37:34Z)
• LAWM-3D: Learning 3D-Aware Latent Actions from Human Videos for Generalizable Robot World Models [64.11117186468533]
  世界モデルは、エージェントが現実世界のインタラクションなしで前方ロールアウトと計画を実行することを可能にする。 既存のLAMのほとんどはシングルビュー入力に依存しており、主に2Dピクセル空間で動作する。 LAWM-3Dは、3D対応の潜伏動作を学習するための3つの密結合型鍵設計を提案する。
  論文  参考訳（メタデータ） (2026-08-06T07:47:01Z)
• R2RDreamer: 3D-aware Data Augmentation for Spatially-generalized 2D Manipulation Policies [86.2249156068836]
  R2RDreamerは実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実- 視覚的補完を2次元ビデオ空間に移動させながら、3次元のアクション・オブザーブレーション編集の幾何的整合性を維持する。
  論文  参考訳（メタデータ） (2026-06-15T17:56:19Z)
• OCRA: Object-Centric Learning with 3D and Tactile Priors for Human-to-Robot Action Transfer [84.22494391514066]
  OCRAはビデオベースのヒューマン・ロボット・アクション転送のためのフレームワークである。 人間のデモビデオから直接学習し、堅牢な操作を可能にする。
  論文  参考訳（メタデータ） (2026-03-15T14:31:03Z)
• HOSt3R: Keypoint-free Hand-Object 3D Reconstruction from RGB images [27.025336665386735]
  モノクロモーションビデオ/画像から手動3D変換を推定するための,ロバストでキーポイントのない手法を提案する。 さらにこれを多視点再構成パイプラインに統合し,手動物体の形状を正確に復元する。 提案手法は,HOSt3Rと命名され,非拘束であり,事前スキャンされたオブジェクトテンプレートやカメラ内在性に依存しず,最先端の性能に達する。
  論文  参考訳（メタデータ） (2025-08-22T15:30:40Z)
• ROAM: Robust and Object-Aware Motion Generation Using Neural Pose Descriptors [73.26004792375556]
  本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。 我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。 本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-24T17:59:51Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。