論文の概要: D$^2$NeRF: Self-Supervised Decoupling of Dynamic and Static Objects from a Monocular Video

• arxiv url: http://arxiv.org/abs/2205.15838v2
• Date: Wed, 1 Jun 2022 09:40:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-04 07:53:04.159425
• Title: D$^2$NeRF: Self-Supervised Decoupling of Dynamic and Static Objects from a Monocular Video
• Title（参考訳）: d$^2$nerf:単眼ビデオからの動的および静的オブジェクトの自己教師付きデカップリング
• Authors: Tianhao Wu, Fangcheng Zhong, Andrea Tagliasacchi, Forrester Cole, Cengiz Oztireli
• Abstract要約: モノクロ映像が与えられたとき、静的環境を回復しながら動的オブジェクトを分割して分離することは、マシンインテリジェンスにおいて広く研究されている問題である。 Decoupled Dynamic Neural Radiance Field (D$2$NeRF) は、モノクロ映像を撮り、3Dシーンの表現を学習する自己教師型アプローチである。
• 参考スコア（独自算出の注目度）: 23.905013304668426
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Given a monocular video, segmenting and decoupling dynamic objects while recovering the static environment is a widely studied problem in machine intelligence. Existing solutions usually approach this problem in the image domain, limiting their performance and understanding of the environment. We introduce Decoupled Dynamic Neural Radiance Field (D$^2$NeRF), a self-supervised approach that takes a monocular video and learns a 3D scene representation which decouples moving objects, including their shadows, from the static background. Our method represents the moving objects and the static background by two separate neural radiance fields with only one allowing for temporal changes. A naive implementation of this approach leads to the dynamic component taking over the static one as the representation of the former is inherently more general and prone to overfitting. To this end, we propose a novel loss to promote correct separation of phenomena. We further propose a shadow field network to detect and decouple dynamically moving shadows. We introduce a new dataset containing various dynamic objects and shadows and demonstrate that our method can achieve better performance than state-of-the-art approaches in decoupling dynamic and static 3D objects, occlusion and shadow removal, and image segmentation for moving objects.
• Abstract（参考訳）: モノクロビデオが与えられると、静的な環境を回復しながら動的オブジェクトのセグメンテーションとデカップリングは、マシンインテリジェンスにおいて広く研究されている問題である。 既存のソリューションは通常、イメージドメインでこの問題にアプローチし、パフォーマンスと環境の理解を制限します。 本研究では,単眼映像を撮影し,シャドウを含む動く物体を静的背景から分離する3次元シーン表現を学習する自己教師付き手法である,decoupled dynamic neural radiance field (d$^2$nerf)を導入する。 本手法は,運動物体と静的背景を2つの異なる神経放射場で表現し,時間変化を許容する。 このアプローチの素直な実装は、静的なコンポーネントを引き継ぎ、前者の表現は本質的により一般的であり、過度に適合する傾向にある。 そこで本研究では,現象の分離を促進する新しい損失を提案する。 さらに,動的に動く影を検出し,分離するシャドウフィールドネットワークを提案する。 様々な動的オブジェクトと影を含む新しいデータセットを導入し、動的および静的な3Dオブジェクトの分離、閉塞と影の除去、移動物体のイメージセグメンテーションにおける最先端のアプローチよりも優れた性能が得られることを示す。

関連論文リスト

• V3D-SLAM: Robust RGB-D SLAM in Dynamic Environments with 3D Semantic Geometry Voting [1.3493547928462395]
  動体とカメラのポーズの相関関係から,高度にダイナミックな環境下での同時位置決めとマッピング(SLAM)は困難である。 2つの軽量再評価段階を経て移動物体を除去するロバストな手法 V3D-SLAM を提案する。 TUM RGB-Dベンチマーク実験により,直近のSLAM法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2024-10-15T21:08:08Z)
• Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
  オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。 ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。 提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
  論文  参考訳（メタデータ） (2024-07-30T15:33:58Z)
• Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
  本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。 シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。 本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:08Z)
• EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
  エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。 動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
  論文  参考訳（メタデータ） (2024-06-28T10:39:36Z)
• BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown Objects [89.2314092102403]
  モノクロRGBDビデオシーケンスから未知物体の6-DoF追跡をリアルタイムに行う手法を提案する。 視覚的テクスチャがほとんど欠如している場合でも,任意の剛体オブジェクトに対して有効である。
  論文  参考訳（メタデータ） (2023-03-24T17:13:49Z)
• Discovering Objects that Can Move [55.743225595012966]
  手動ラベルなしでオブジェクトを背景から分離する、オブジェクト発見の問題について検討する。 既存のアプローチでは、色、テクスチャ、位置などの外観の手がかりを使用して、ピクセルをオブジェクトのような領域に分類する。 私たちは、動的オブジェクト -- 世界で独立して動くエンティティ -- にフォーカスすることを選びます。
  論文  参考訳（メタデータ） (2022-03-18T21:13:56Z)
• NeuralDiff: Segmenting 3D objects that move in egocentric videos [92.95176458079047]
  観測された3次元シーンを静的な背景と動的前景に分解する問題について検討する。 このタスクは、古典的な背景の減算問題を連想させるが、静的でダイナミックなシーンの全ての部分が大きな動きを生じさせるため、非常に難しい。 特に、自我中心のビデオについて検討し、動的コンポーネントを観察・移動するオブジェクトとアクターにさらに分離する。
  論文  参考訳（メタデータ） (2021-10-19T12:51:35Z)
• STaR: Self-supervised Tracking and Reconstruction of Rigid Objects in Motion with Neural Rendering [9.600908665766465]
  本稿では,マルチビューRGB動画のリジッドモーションによる動的シーンの自己監視追跡と再構成を,手動アノテーションなしで行う新しい手法であるSTaRについて述べる。 本手法は,空間軸と時間軸の両方で新規性を測定するフォトリアリスティック・ノベルビューを描画できることを示した。
  論文  参考訳（メタデータ） (2020-12-22T23:45:28Z)
• Empty Cities: a Dynamic-Object-Invariant Space for Visual SLAM [6.693607456009373]
  本稿では,シーンの静的な画像を得るためのデータ駆動型アプローチを提案する。 本研究では,都市環境の画像を局所化とマッピングに適したリアルな静的フレームに変換するためのエンドツーエンドのディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-15T10:31:12Z)
• Removing Dynamic Objects for Static Scene Reconstruction using Light Fields [2.286041284499166]
  動的環境は視覚的同時ローカライゼーションとマッピング(SLAM)アルゴリズムに課題をもたらす。 光電場は、空間の1つの点から現れる光線の束を捉え、それらを再焦点を合わせることで、ダイナミックな物体を観察することができる。 動的オブジェクトの存在下で静的な背景のイメージを再集中的に合成する手法を提案する。
  論文  参考訳（メタデータ） (2020-03-24T19:05:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。