論文の概要: Dynamic 3D Gaussian Tracking for Graph-Based Neural Dynamics Modeling

• arxiv url: http://arxiv.org/abs/2410.18912v1
• Date: Thu, 24 Oct 2024 17:02:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:50:37.833683
• Title: Dynamic 3D Gaussian Tracking for Graph-Based Neural Dynamics Modeling
• Title（参考訳）: グラフベースニューラルダイナミクスモデリングのための動的3次元ガウス追跡
• Authors: Mingtong Zhang, Kaifeng Zhang, Yunzhu Li,
• Abstract要約: マルチビューRGBビデオからオブジェクトダイナミクスを直接学習するフレームワークを導入する。 グラフニューラルネットワークを用いて粒子ベース力学モデルを訓練する。 本手法は,初期設定の異なる物体の動きやロボットの動作を予測できる。
• 参考スコア（独自算出の注目度）: 10.247075501610492
• License:
• Abstract: Videos of robots interacting with objects encode rich information about the objects' dynamics. However, existing video prediction approaches typically do not explicitly account for the 3D information from videos, such as robot actions and objects' 3D states, limiting their use in real-world robotic applications. In this work, we introduce a framework to learn object dynamics directly from multi-view RGB videos by explicitly considering the robot's action trajectories and their effects on scene dynamics. We utilize the 3D Gaussian representation of 3D Gaussian Splatting (3DGS) to train a particle-based dynamics model using Graph Neural Networks. This model operates on sparse control particles downsampled from the densely tracked 3D Gaussian reconstructions. By learning the neural dynamics model on offline robot interaction data, our method can predict object motions under varying initial configurations and unseen robot actions. The 3D transformations of Gaussians can be interpolated from the motions of control particles, enabling the rendering of predicted future object states and achieving action-conditioned video prediction. The dynamics model can also be applied to model-based planning frameworks for object manipulation tasks. We conduct experiments on various kinds of deformable materials, including ropes, clothes, and stuffed animals, demonstrating our framework's ability to model complex shapes and dynamics. Our project page is available at https://gs-dynamics.github.io.
• Abstract（参考訳）: オブジェクトと対話するロボットのビデオは、オブジェクトのダイナミクスに関する豊富な情報をエンコードする。 しかしながら、既存のビデオ予測アプローチは、ロボットのアクションやオブジェクトの3D状態のようなビデオからの3D情報を明示的に説明せず、実際のロボットアプリケーションでの使用を制限する。 本研究では,ロボットの動作軌跡とシーンダイナミクスへの影響を明示的に考慮し,マルチビューRGBビデオから直接オブジェクトダイナミクスを学習するフレームワークを提案する。 本稿では,3次元ガウス格子(3DGS)の3次元ガウス表現を用いて,グラフニューラルネットワークを用いた粒子動力学モデルのトレーニングを行う。 このモデルでは、密度の高い3次元ガウス再構成から切り離されたスパース制御粒子を動作させる。 オフラインロボットインタラクションデータからニューラルダイナミクスモデルを学習することにより、初期設定や見つからないロボット動作の下で物体の動きを予測することができる。 ガウスの3次元変換は制御粒子の動きから補間することができ、将来の予測対象状態のレンダリングとアクション条件付き映像予測を実現することができる。 動的モデルは、オブジェクト操作タスクのためのモデルベースの計画フレームワークにも適用することができる。 我々は, ロープ, 衣服, ぬいぐるみなど, 様々な変形可能な材料について実験を行い, 複雑な形状や力学をモデル化する枠組みの能力を実証した。 プロジェクトのページはhttps://gs-dynamics.github.io.comで公開されている。

関連論文リスト

• Robot See Robot Do: Imitating Articulated Object Manipulation with Monocular 4D Reconstruction [51.49400490437258]
  本研究は,1つの単分子RGB人間の実演から音声による物体操作を模倣する手法を開発した。 まず,モノクロ映像から3次元部分運動を復元する4次元微分可能部品モデル(4D-DPM)を提案する。 この4D再構成を前提として、ロボットは物体の軌道を再現し、両腕の動きを計画し、実証された物体部分の動きを誘導する。 両用するYuMiロボットを用いて,4D-DPMの3D追跡精度を実写3D部分軌跡に基づいて評価し,9つのオブジェクトに対してRSRDの物理的実行性能を評価した。
  論文  参考訳（メタデータ） (2024-09-26T17:57:16Z)
• Learning 3D Particle-based Simulators from RGB-D Videos [15.683877597215494]
  本研究では,シミュレータを直接観測から学習する手法を提案する。 視覚粒子ダイナミクス(VPD)は、3Dシーンの潜在粒子ベースの表現を共同で学習する。 既存の2Dビデオ予測モデルとは異なり、VPDの3D構造はシーン編集と長期予測を可能にする。
  論文  参考訳（メタデータ） (2023-12-08T20:45:34Z)
• DeformGS: Scene Flow in Highly Deformable Scenes for Deformable Object Manipulation [66.7719069053058]
  DeformGSは、複数のカメラからダイナミックなシーンを同時撮影することで、高度に変形可能なシーンのシーンフローを復元するアプローチである。 DeformGSは最先端と比較して平均55.8%の3Dトラッキングを改善している。 十分なテクスチャで、DeformGSは1.5 x 1.5 mの布の上で3.3mmの中央値追跡誤差を達成している。
  論文  参考訳（メタデータ） (2023-11-30T18:53:03Z)
• 3D-IntPhys: Towards More Generalized 3D-grounded Visual Intuitive Physics under Challenging Scenes [68.66237114509264]
  複雑なシーンと流体の映像から3次元的な視覚的直感的な物理モデルを学習できるフレームワークを提案する。 本モデルでは,生画像から学習し,明示的な3次元表現空間を用いないモデルよりもはるかに優れた将来予測が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-22T19:28:49Z)
• T3VIP: Transformation-based 3D Video Prediction [49.178585201673364]
  本稿では,シーンを対象部品に分解することで3次元動きを明示的にモデル化する3次元映像予測手法を提案する。 我々のモデルは、完全に教師なしであり、現実世界の性質を捉え、画像と点のクラウド領域における観察の手がかりがその学習信号を構成する。 我々の知る限り、我々のモデルは、静止カメラの未来をRGB-Dビデオで予測する最初の生成モデルである。
  論文  参考訳（メタデータ） (2022-09-19T15:01:09Z)
• Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
  本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。 NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。 提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
  論文  参考訳（メタデータ） (2022-02-24T01:31:29Z)
• 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
  我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。 学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
  論文  参考訳（メタデータ） (2021-07-08T17:49:37Z)
• 3D-OES: Viewpoint-Invariant Object-Factorized Environment Simulators [24.181604511269096]
  本稿では、3次元ニューラルシーン表現空間におけるオブジェクトとエージェントの相互作用によるシーン変化を予測できる動作条件動的モデルを提案する。 この空間では、オブジェクトは互いに干渉せず、その外観は時間と視点にわたって持続する。 本モデルでは,対話対象の個数や外観,カメラ視点の多様さにまたがる予測をよく一般化することを示す。
  論文  参考訳（メタデータ） (2020-11-12T16:15:52Z)
• Learning 3D Dynamic Scene Representations for Robot Manipulation [21.6131570689398]
  ロボット操作のための3Dシーン表現は、永続性、完全性、連続性という3つの重要なオブジェクト特性を捉えなければならない。 本研究では3次元動的表現(DSR)を導入し,オブジェクトを同時に検出,追跡,再構成し,そのダイナミクスを予測する。 本稿では,DSRを段階的に構築・洗練するために,複数の相互作用を通して視覚的観察を集約することを学ぶDSR-Netを提案する。
  論文  参考訳（メタデータ） (2020-11-03T19:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。