論文の概要: Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model

• arxiv url: http://arxiv.org/abs/2206.08368v3
• Date: Thu, 4 May 2023 10:21:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-05 19:48:02.308573
• Title: Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model
• Title（参考訳）: unbiased 4d : 神経変形モデルを用いた単眼4次元再構成
• Authors: Erik C.M. Johnson and Marc Habermann and Soshi Shimada and Vladislav Golyanik and Christian Theobalt
• Abstract要約: モノクロRGBビデオから一般的なデフォーミングシーンをキャプチャすることは、多くのコンピュータグラフィックスや視覚アプリケーションにとって不可欠である。 提案手法であるUb4Dは、大きな変形を処理し、閉塞領域での形状補完を行い、可変ボリュームレンダリングを用いて、単眼のRGBビデオを直接操作することができる。 我々の新しいデータセットの結果は公開され、表面の復元精度と大きな変形に対する堅牢性の観点から、技術の現状が明らかに改善されていることを実証する。
• 参考スコア（独自算出の注目度）: 76.64071133839862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Capturing general deforming scenes from monocular RGB video is crucial for many computer graphics and vision applications. However, current approaches suffer from drawbacks such as struggling with large scene deformations, inaccurate shape completion or requiring 2D point tracks. In contrast, our method, Ub4D, handles large deformations, performs shape completion in occluded regions, and can operate on monocular RGB videos directly by using differentiable volume rendering. This technique includes three new in the context of non-rigid 3D reconstruction components, i.e., 1) A coordinate-based and implicit neural representation for non-rigid scenes, which in conjunction with differentiable volume rendering enables an unbiased reconstruction of dynamic scenes, 2) a proof that extends the unbiased formulation of volume rendering to dynamic scenes, and 3) a novel dynamic scene flow loss, which enables the reconstruction of larger deformations by leveraging the coarse estimates of other methods. Results on our new dataset, which will be made publicly available, demonstrate a clear improvement over the state of the art in terms of surface reconstruction accuracy and robustness to large deformations.
• Abstract（参考訳）: モノクロRGBビデオから一般的なデフォーミングシーンをキャプチャすることは、多くのコンピュータグラフィックスや視覚アプリケーションにとって不可欠である。 しかし、現在のアプローチでは、大きなシーンの変形、不正確な形状の完了、あるいは2dポイントトラックを必要とするなど、欠点がある。 対照的に, ub4dは大きな変形を処理し, 遮蔽領域で形状補完を行い, 微分可能なボリュームレンダリングを用いて単眼rgbビデオを直接操作できる。 この技術は、非剛性3次元再構成部品の文脈における3つの新しい要素を含む。 1)非厳密なシーンに対する座標に基づく暗黙的ニューラル表現は、異なるボリュームレンダリングと組み合わせることで、動的シーンの非バイアスのない再構築を可能にする。 2)ボリュームレンダリングの偏りのない定式化を動的シーンに拡張する証明 3) 新たな動的シーンフロー損失は, 他の手法の粗い推定を活用し, より大きな変形の復元を可能にする。 我々の新しいデータセットの結果は公開され、表面の復元精度と大きな変形に対する堅牢性の観点から、技術の現状が明らかに改善されていることを実証する。

関連論文リスト

• SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes [7.590932716513324]
  本稿では,3次元ガウススティング(3DGS)と物理ベースレンダリング(PBR)と変形場を組み合わせた新しいアプローチであるSpectroMotionを提案する。
  論文  参考訳（メタデータ） (2024-10-22T17:59:56Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape Reconstruction and Tracking [52.393359791978035]
  Motion2VecSetsは点雲列からの動的表面再構成のための4次元拡散モデルである。 グローバルな潜在符号の代わりに、潜在集合で4Dダイナミクスをパラメータ化する。 時間的コヒーレントな物体追跡のために、変形潜在集合を同期的に認知し、複数のフレーム間で情報を交換する。
  論文  参考訳（メタデータ） (2024-01-12T15:05:08Z)
• Single-view 3D Scene Reconstruction with High-fidelity Shape and Texture [47.44029968307207]
  本研究では,物体の形状とテクスチャを同時に高忠実度に再現する新しい枠組みを提案する。 提案手法は,SSR(Single-view Neural implicit Shape and Radiance Field)表現を用いて,明示的な3次元形状制御とボリュームレンダリングの両方を活用する。 我々のフレームワークの特徴は、単一のビュー3D再構成モデルにレンダリング機能をシームレスに統合しながら、きめ細かいテクスチャメッシュを生成する能力である。
  論文  参考訳（メタデータ） (2023-11-01T11:46:15Z)
• DiViNeT: 3D Reconstruction from Disparate Views via Neural Template Regularization [7.488962492863031]
  本稿では3つの異なるRGB画像を入力として用いたボリュームレンダリングに基づくニューラルサーフェス再構成手法を提案する。 我々のキーとなる考え方は再建を規則化することであり、これは深刻な問題であり、スパースビューの間に大きなギャップを埋めることである。 提案手法は, 従来の手法の中でも, 疎外な視点で, 最高の復元品質を達成できる。
  論文  参考訳（メタデータ） (2023-06-07T18:05:14Z)
• Neuralangelo: High-Fidelity Neural Surface Reconstruction [22.971952498343942]
  マルチレゾリューション3Dハッシュグリッドの表現力とニューラルサーフェスレンダリングを組み合わせたニューラルアンジェロを提案する。 深度などの補助的な入力がなくても、ニューラルランジェロは従来の手法をはるかに上回る忠実度を持つ多視点画像から高密度な3次元表面構造を効果的に回収することができる。
  論文  参考訳（メタデータ） (2023-06-05T17:59:57Z)
• NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos [82.74918564737591]
  本稿では,モノクラーRGBビデオ入力のみから動的シーンの3次元形状と物理パラメータを学習する手法を提案する。 実験により,提案手法は,競合するニューラルフィールドアプローチと比較して,動的シーンのメッシュとビデオの再構成に優れることを示した。
  論文  参考訳（メタデータ） (2022-10-22T04:57:55Z)
• LoRD: Local 4D Implicit Representation for High-Fidelity Dynamic Human Modeling [69.56581851211841]
  そこで我々は,LoRDという,動的に衣を着る人間の局所的な4D暗黙表現を提案する。 私たちの重要な洞察は、ネットワークがローカルな部分レベルの表現の潜在コードを学ぶように促すことです。 LoRDは、4D人間を表現する能力が強く、実用上の最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2022-08-18T03:49:44Z)
• Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular Video Depth [90.33296913575818]
  映像深度推定や映像からの3次元シーン再構成のようなビデオベースのシナリオでは、フレームごとの予測における未知のスケールとシフトが深度の不整合を引き起こす可能性がある。 局所重み付き線形回帰法を提案する。 提案手法は,複数のゼロショットベンチマークにおいて,既存の最先端手法の性能を50%向上させることができる。
  論文  参考訳（メタデータ） (2022-02-03T08:52:54Z)
• Learning monocular 3D reconstruction of articulated categories from motion [39.811816510186475]
  ビデオの自己スーパービジョンは、動きに基づくサイクルロスによる連続した3次元再構成の一貫性を強要する。 少数の局所的学習可能なハンドルの変位を介して3D表面を制御する3Dテンプレート変形の解釈可能なモデルを紹介します。 多様な形状, 視点, テクスチャを具体化して, 複数の対象カテゴリーのテクスチャを再現する。
  論文  参考訳（メタデータ） (2021-03-30T13:50:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。