論文の概要: MovingParts: Motion-based 3D Part Discovery in Dynamic Radiance Field

• arxiv url: http://arxiv.org/abs/2303.05703v2
• Date: Fri, 7 Apr 2023 06:57:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-10 14:34:13.136408
• Title: MovingParts: Motion-based 3D Part Discovery in Dynamic Radiance Field
• Title（参考訳）: 移動部品:動的放射場における運動に基づく3次元部分発見
• Authors: Kaizhi Yang, Xiaoshuai Zhang, Zhiao Huang, Xuejin Chen, Zexiang Xu, Hao Su
• Abstract要約: 動的シーン再構成と部分発見のためのNeRF法である移動部について述べる。 ラグランジアンビューでは、物体上の粒子の軌跡を追跡することにより、シーンの動きをパラメータ化する。 ラグランジアンビューは、部分レベルの剛体運動の合成としてシーンの動きを分解することで、部品を発見するのに便利である。
• 参考スコア（独自算出の注目度）: 42.236015785792965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present MovingParts, a NeRF-based method for dynamic scene reconstruction and part discovery. We consider motion as an important cue for identifying parts, that all particles on the same part share the common motion pattern. From the perspective of fluid simulation, existing deformation-based methods for dynamic NeRF can be seen as parameterizing the scene motion under the Eulerian view, i.e., focusing on specific locations in space through which the fluid flows as time passes. However, it is intractable to extract the motion of constituting objects or parts using the Eulerian view representation. In this work, we introduce the dual Lagrangian view and enforce representations under the Eulerian/Lagrangian views to be cycle-consistent. Under the Lagrangian view, we parameterize the scene motion by tracking the trajectory of particles on objects. The Lagrangian view makes it convenient to discover parts by factorizing the scene motion as a composition of part-level rigid motions. Experimentally, our method can achieve fast and high-quality dynamic scene reconstruction from even a single moving camera, and the induced part-based representation allows direct applications of part tracking, animation, 3D scene editing, etc.
• Abstract（参考訳）: 動的シーン再構成と部分発見のためのNeRF法である移動部を提案する。 動きは、同じ部分の全ての粒子が共通の動きパターンを共有する部分を特定するための重要な手がかりであると考えている。 流体シミュレーションの観点からは、既存の変形に基づく動的NeRF法は、ユーレアンビューの下でのシーン運動のパラメータ化、すなわち時が経つにつれて流体が流れる空間内の特定の位置に焦点を当てていると見なすことができる。 しかし、ユーレアンビュー表現を用いて、オブジェクトや部品を構成する動きを抽出することは困難である。 本研究では、双対ラグランジアンビューを導入し、ユーレアン/ラグランジアンビューの下で表現を強制的にサイクル整合性にする。 ラグランジアンビューでは、物体上の粒子の軌跡を追跡することにより、シーンの動きをパラメータ化する。 ラグランジアンビューは、部分レベルの剛体運動の合成としてシーンの動きを分解することで、部品を発見するのに便利である。 提案手法は,単一移動カメラでも高速かつ高品質な動的シーン再構成を実現し,パートトラッキングやアニメーション,3Dシーン編集などの直接的応用を可能にする。

関連論文リスト

• Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
  本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。 シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。 本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:08Z)
• DEMOS: Dynamic Environment Motion Synthesis in 3D Scenes via Local Spherical-BEV Perception [54.02566476357383]
  本研究では,動的環境運動合成フレームワーク(DEMOS)を提案する。 次に、最終動作合成のために潜在動作を動的に更新する。 その結果,本手法は従来の手法よりも優れ,動的環境の処理性能も優れていた。
  論文  参考訳（メタデータ） (2024-03-04T05:38:16Z)
• Motion Segmentation from a Moving Monocular Camera [3.115818438802931]
  我々は、点軌跡法と光フロー法という、単眼運動分割手法の2つの一般的な分岐を生かしている。 我々は異なるシーン構造で様々な複雑な物体の動きを同時にモデル化することができる。 提案手法は,KT3DMoSegデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2023-09-24T22:59:05Z)
• 3D Motion Magnification: Visualizing Subtle Motions with Time Varying Radiance Fields [58.6780687018956]
  本研究では,移動カメラが捉えたシーンからの微妙な動きを拡大できる3次元運動倍率法を提案する。 時間変化のラディアンス場を用いてシーンを表現し、運動倍率のユーレリア原理を利用する。 我々は,様々なカメラ装置で撮影した合成シーンと実世界のシーンの両方において,本手法の有効性を評価する。
  論文  参考訳（メタデータ） (2023-08-07T17:59:59Z)
• NeuralDiff: Segmenting 3D objects that move in egocentric videos [92.95176458079047]
  観測された3次元シーンを静的な背景と動的前景に分解する問題について検討する。 このタスクは、古典的な背景の減算問題を連想させるが、静的でダイナミックなシーンの全ての部分が大きな動きを生じさせるため、非常に難しい。 特に、自我中心のビデオについて検討し、動的コンポーネントを観察・移動するオブジェクトとアクターにさらに分離する。
  論文  参考訳（メタデータ） (2021-10-19T12:51:35Z)
• Motion Representations for Articulated Animation [34.54825980226596]
  異なる部分からなる関節オブジェクトをアニメーション化するための新しいモーション表現を提案する。 完全に教師なしの方法で、本手法は対象部品を識別し、駆動ビデオで追跡し、主軸を考慮して動きを推定する。 我々のモデルは様々なオブジェクトをアニメートすることができ、既存のベンチマークでは従来のメソッドを大きく上回っています。
  論文  参考訳（メタデータ） (2021-04-22T18:53:56Z)
• Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
  イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。 この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
  論文  参考訳（メタデータ） (2020-12-16T04:06:02Z)
• Semantic Flow-guided Motion Removal Method for Robust Mapping [7.801798747561309]
  動作領域の抽出に意味情報と光フローを利用する新しい動き除去法を提案する。 ORB-SLAM2は運動除去法と統合され,室内および屋外の動的環境において最高の性能を示した。
  論文  参考訳（メタデータ） (2020-10-14T08:40:16Z)
• DymSLAM:4D Dynamic Scene Reconstruction Based on Geometrical Motion Segmentation [22.444657614883084]
  DymSLAM(ダイムSLAM)は、4D(3D + Time)ダイナミックシーンを剛体移動物体で再構成できる動的ステレオ視覚SLAMシステムである。 提案システムでは,動的物体の障害物回避などの高レベルなタスクにロボットを使用できる。
  論文  参考訳（メタデータ） (2020-03-10T08:25:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。