論文の概要: MorpheuS: Neural Dynamic 360° Surface Reconstruction from Monocular RGB-D Video

• arxiv url: http://arxiv.org/abs/2312.00778v2
• Date: Thu, 4 Apr 2024 13:00:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-05 19:53:21.758806
• Title: MorpheuS: Neural Dynamic 360° Surface Reconstruction from Monocular RGB-D Video
• Title（参考訳）: MorpheuS: モノクラーRGB-Dビデオによるニューラルダイナミック360°表面の再構成
• Authors: Hengyi Wang, Jingwen Wang, Lourdes Agapito,
• Abstract要約: 我々は,カジュアルにキャプチャされたRGB-Dビデオから動的360度表面再構成を行うMorpheuSを紹介する。 我々のアプローチは、ターゲットシーンを、その幾何学と外観を符号化する標準フィールドとしてモデル化する。 我々は、ビュー依存拡散を先取りし、その知識を蒸留し、観測されていない領域の現実的な完成を達成する。
• 参考スコア（独自算出の注目度）: 14.678582015968916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural rendering has demonstrated remarkable success in dynamic scene reconstruction. Thanks to the expressiveness of neural representations, prior works can accurately capture the motion and achieve high-fidelity reconstruction of the target object. Despite this, real-world video scenarios often feature large unobserved regions where neural representations struggle to achieve realistic completion. To tackle this challenge, we introduce MorpheuS, a framework for dynamic 360{\deg} surface reconstruction from a casually captured RGB-D video. Our approach models the target scene as a canonical field that encodes its geometry and appearance, in conjunction with a deformation field that warps points from the current frame to the canonical space. We leverage a view-dependent diffusion prior and distill knowledge from it to achieve realistic completion of unobserved regions. Experimental results on various real-world and synthetic datasets show that our method can achieve high-fidelity 360{\deg} surface reconstruction of a deformable object from a monocular RGB-D video.
• Abstract（参考訳）: ニューラルレンダリングは動的シーン再構成において顕著な成功を収めた。 神経表現の表現力のおかげで、先行研究は運動を正確に捉え、対象の物体を高忠実に再現することができる。 これにもかかわらず、実世界のビデオシナリオは、神経表現が現実的な完了を達成するのに苦労する大きな未観測領域を特徴とすることが多い。 この課題に対処するために、カジュアルにキャプチャされたRGB-Dビデオから360{\deg}表面を動的に再構成するフレームワークであるMorpheuSを紹介した。 我々のアプローチは、ターゲットシーンを、その形状と外観を符号化した標準場としてモデル化し、現在のフレームから標準空間へ点をワープする変形場と組み合わせる。 我々は、ビュー依存拡散を先取りし、その知識を蒸留し、観測されていない領域の現実的な完成を達成する。 実世界および合成データセットを用いた実験結果から, モノクラーRGB-Dビデオから変形可能な物体の高忠実度360{\deg}表面の再構成が可能であることが示された。

関連論文リスト

• SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes [7.590932716513324]
  本稿では,3次元ガウススティング(3DGS)と物理ベースレンダリング(PBR)と変形場を組み合わせた新しいアプローチであるSpectroMotionを提案する。
  論文  参考訳（メタデータ） (2024-10-22T17:59:56Z)
• Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
  オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。 ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。 提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
  論文  参考訳（メタデータ） (2024-07-30T15:33:58Z)
• MonoNPHM: Dynamic Head Reconstruction from Monocular Videos [47.504979561265536]
  モノクラーRGBビデオからの動的3次元頭部再構成のためのモノクラーニューラルパラメトリックヘッドモデル(MonoNPHM)を提案する。 我々は、RGBからの勾配が逆レンダリング中の潜時幾何学符号に効果的に影響を及ぼすような、下層の幾何学と相関する予測色値を制約する。
  論文  参考訳（メタデータ） (2023-12-11T17:55:05Z)
• NeRF-DS: Neural Radiance Fields for Dynamic Specular Objects [63.04781030984006]
  ダイナミック・ニューラル・ラジアンス・フィールド(英語版)(NeRF)は、動的シーンの単眼RGBビデオからフォトリアリスティック・ノベル・ビュー・イメージをレンダリングできる強力なアルゴリズムである。 観測空間の表面位置と配向に条件付される神経放射場関数を再構成することにより,その限界に対処する。 本研究では,現実的な環境下での異なる移動スペクトルオブジェクトの自己合成データセットを用いて,新しいビュー合成品質に基づくモデルの評価を行った。
  論文  参考訳（メタデータ） (2023-03-25T11:03:53Z)
• Dynamic Multi-View Scene Reconstruction Using Neural Implicit Surface [0.9134661726886928]
  マルチビュービデオからの暗黙表現を用いて表面形状と外観を再構成するテンプレートレス手法を提案する。 我々はトポロジーを考慮した変形と符号付き距離場を利用して、微分可能なボリュームレンダリングにより複雑な動的曲面を学習する。 異なる多視点ビデオデータセットを用いた実験により,本手法は高忠実度表面再構成とフォトリアリスティックなノベルビュー合成を実現することを示す。
  論文  参考訳（メタデータ） (2023-02-28T19:47:30Z)
• NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos [82.74918564737591]
  本稿では,モノクラーRGBビデオ入力のみから動的シーンの3次元形状と物理パラメータを学習する手法を提案する。 実験により,提案手法は,競合するニューラルフィールドアプローチと比較して,動的シーンのメッシュとビデオの再構成に優れることを示した。
  論文  参考訳（メタデータ） (2022-10-22T04:57:55Z)
• Neural Surface Reconstruction of Dynamic Scenes with Monocular RGB-D Camera [26.410460029742456]
  モノクラーRGB-Dカメラから動的シーンの高忠実度形状と動きを復元するテンプレートレス手法を提案する。 公開データセットと収集データセットの実験により、NDRは既存の単分子動的再構成法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-30T13:09:39Z)
• Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model [76.64071133839862]
  モノクロRGBビデオから一般的なデフォーミングシーンをキャプチャすることは、多くのコンピュータグラフィックスや視覚アプリケーションにとって不可欠である。 提案手法であるUb4Dは、大きな変形を処理し、閉塞領域での形状補完を行い、可変ボリュームレンダリングを用いて、単眼のRGBビデオを直接操作することができる。 我々の新しいデータセットの結果は公開され、表面の復元精度と大きな変形に対する堅牢性の観点から、技術の現状が明らかに改善されていることを実証する。
  論文  参考訳（メタデータ） (2022-06-16T17:59:54Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
  Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。 一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-12-22T18:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。