論文の概要: ManipDreamer3D : Synthesizing Plausible Robotic Manipulation Video with Occupancy-aware 3D Trajectory

• arxiv url: http://arxiv.org/abs/2509.05314v1
• Date: Fri, 29 Aug 2025 10:39:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-14 20:41:04.914536
• Title: ManipDreamer3D : Synthesizing Plausible Robotic Manipulation Video with Occupancy-aware 3D Trajectory
• Title（参考訳）: ManipDreamer3D : Occupancy-aware 3D Trajectoryを用いた可塑性ロボットマニピュレーションビデオの合成
• Authors: Ying Li, Xiaobao Wei, Xiaowei Chi, Yuming Li, Zhongyu Zhao, Hao Wang, Ningning Ma, Ming Lu, Shanghang Zhang,
• Abstract要約: ManipDreamer3Dは入力画像とテキスト命令から可塑性3D対応ロボット操作ビデオを生成する。 提案手法は,自律的に計画された3Dトラジェクトリを用いたロボットビデオを生成し,人間の介入要求を大幅に低減する。
• 参考スコア（独自算出の注目度）: 56.06314177428745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data scarcity continues to be a major challenge in the field of robotic manipulation. Although diffusion models provide a promising solution for generating robotic manipulation videos, existing methods largely depend on 2D trajectories, which inherently face issues with 3D spatial ambiguity. In this work, we present a novel framework named ManipDreamer3D for generating plausible 3D-aware robotic manipulation videos from the input image and the text instruction. Our method combines 3D trajectory planning with a reconstructed 3D occupancy map created from a third-person perspective, along with a novel trajectory-to-video diffusion model. Specifically, ManipDreamer3D first reconstructs the 3D occupancy representation from the input image and then computes an optimized 3D end-effector trajectory, minimizing path length while avoiding collisions. Next, we employ a latent editing technique to create video sequences from the initial image latent and the optimized 3D trajectory. This process conditions our specially trained trajectory-to-video diffusion model to produce robotic pick-and-place videos. Our method generates robotic videos with autonomously planned plausible 3D trajectories, significantly reducing human intervention requirements. Experimental results demonstrate superior visual quality compared to existing methods.
• Abstract（参考訳）: データ不足は、ロボット操作の分野における大きな課題であり続けている。 拡散モデルは、ロボット操作ビデオを生成するための有望なソリューションを提供するが、既存の方法は、主に3次元空間的曖昧さの問題に直面する2次元軌跡に依存している。 本研究では,入力画像とテキスト命令から3D対応ロボット操作ビデオを生成するための,ManipDreamer3Dという新しいフレームワークを提案する。 提案手法は,3次元トラジェクトリ・ツー・ビデオ拡散モデルとともに,3次元視点で構築した3次元占有マップと3次元トラジェクトリ・ツー・ビデオ拡散モデルを組み合わせた。 具体的には、ManipDreamer3Dはまず入力画像から3D占有率表現を再構成し、最適化された3Dエンドエフェクタ軌道を計算し、衝突を避けながら経路長を最小化する。 次に、初期画像ラテントと最適化された3次元軌跡から映像シーケンスを作成するために、潜時編集手法を用いる。 このプロセスは、ロボットピック・アンド・プレイス・ビデオを生成するために、特別に訓練されたトラジェクティブ・ツー・ビデオ拡散モデルを条件付けする。 提案手法は,自律的に計画された3Dトラジェクトリを用いたロボットビデオを生成することで,人間の介入要求を大幅に低減する。 実験の結果,既存の方法に比べて視覚的品質が優れていた。

関連論文リスト

• Object-centric 3D Motion Field for Robot Learning from Human Videos [56.9436352861611]
  本稿では,人間ビデオからのロボット学習の動作を表現するために,物体中心の3次元運動場を提案する。 ゼロショット制御のためのビデオからこの表現を抽出するための新しいフレームワークを提案する。 実験の結果,提案手法は最新の手法に比べて3次元動作推定誤差を50%以上削減できることがわかった。
  論文  参考訳（メタデータ） (2025-06-04T17:59:06Z)
• VideoScene: Distilling Video Diffusion Model to Generate 3D Scenes in One Step [13.168559963356952]
  VideoSceneは、ビデオ拡散モデルを蒸留して、ワンステップで3Dシーンを生成する。 VideoSceneは従来のビデオ拡散モデルよりも高速で優れた3Dシーン生成結果が得られる。
  論文  参考訳（メタデータ） (2025-04-02T17:59:21Z)
• VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
  VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。 VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
  論文  参考訳（メタデータ） (2025-03-10T10:04:58Z)
• Lift3D Foundation Policy: Lifting 2D Large-Scale Pretrained Models for Robust 3D Robotic Manipulation [30.744137117668643]
  Lift3Dは、ロバストな3D操作ポリシーを構築するために、暗黙的で明示的な3Dロボット表現で2Dファンデーションモデルを強化するフレームワークである。 実験では、Lift3Dはいくつかのシミュレーションベンチマークや実世界のシナリオで、最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-11-27T18:59:52Z)
• Director3D: Real-world Camera Trajectory and 3D Scene Generation from Text [61.9973218744157]
  実世界の3Dシーンと適応カメラトラジェクトリの両方を生成するように設計された,堅牢なオープンワールドテキスト・ツー・3D生成フレームワークであるDirector3Dを紹介する。 Director3Dは既存の手法よりも優れており、実世界の3D生成において優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-06-25T14:42:51Z)
• OneTo3D: One Image to Re-editable Dynamic 3D Model and Video Generation [0.0]
  編集可能なダイナミック3Dモデルとビデオ生成のための1つの画像は、単一の画像の研究領域を3D表現や画像の3D再構成に変換する新しい方向と変化である。 編集可能な3Dモデルを生成し,対象とする連続時間無制限の3Dビデオを生成するために,単一の画像を使用する方法と理論であるOneTo3Dを提案する。
  論文  参考訳（メタデータ） (2024-05-10T15:44:11Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [111.16358607889609]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。