論文の概要: Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model
- arxiv url: http://arxiv.org/abs/2206.08368v1
- Date: Thu, 16 Jun 2022 17:59:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-17 15:53:17.894047
- Title: Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model
- Title（参考訳）: unbiased 4d : 神経変形モデルを用いた単眼4次元再構成
- Authors: Erik C.M. Johnson and Marc Habermann and Soshi Shimada and Vladislav
Golyanik and Christian Theobalt
- Abstract要約: 競合する手法では、高密度なポイントトラック、3Dテンプレート、大規模なトレーニングデータセット、あるいは小規模な変形のみをキャプチャする。
我々の方法であるUb4Dは、これらの仮定を全く行わず、挑戦的なシナリオにおいて、過去の技術状況よりも優れています。
我々の新しいデータセットの結果は公開され、表面の復元精度と大きな変形に対する堅牢性の観点から、技術の現状に対する明確な改善が示される。
- 参考スコア（独自算出の注目度）: 76.64071133839862
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Capturing general deforming scenes is crucial for many computer graphics and
vision applications, and it is especially challenging when only a monocular RGB
video of the scene is available. Competing methods assume dense point tracks,
3D templates, large-scale training datasets, or only capture small-scale
deformations. In contrast to those, our method, Ub4D, makes none of these
assumptions while outperforming the previous state of the art in challenging
scenarios. Our technique includes two new, in the context of non-rigid 3D
reconstruction, components, i.e., 1) A coordinate-based and implicit neural
representation for non-rigid scenes, which enables an unbiased reconstruction
of dynamic scenes, and 2) A novel dynamic scene flow loss, which enables the
reconstruction of larger deformations. Results on our new dataset, which will
be made publicly available, demonstrate the clear improvement over the state of
the art in terms of surface reconstruction accuracy and robustness to large
deformations. Visit the project page https://4dqv.mpi-inf.mpg.de/Ub4D/.
- Abstract（参考訳）: 一般的なデフォーミングシーンのキャプチャは、多くのコンピュータグラフィックスや視覚アプリケーションにとって不可欠であり、シーンの単眼のRGBビデオのみが利用可能である場合、特に困難である。
競合する手法では、密度の高いポイントトラック、3dテンプレート、大規模なトレーニングデータセット、あるいは小さな変形のみをキャプチャする。
それとは対照的に、我々の方法であるUb4Dは、これらの仮定を全く行わず、挑戦的なシナリオにおいて、過去の技術状況よりも優れています。
本手法は,非剛性3次元再構成,コンポーネント,すなわち,2つの新しい手法を含む。
1)動的シーンの偏りのない再構成を可能にする非剛性シーンのための座標ベースおよび暗黙的ニューラルネットワーク表現
2) 大きな変形の復元を可能にする新しい動的シーンフロー損失。
我々の新しいデータセットの結果は公開され、表面の復元精度と大きな変形に対する堅牢性の観点から、技術の現状に対する明確な改善が示される。
プロジェクトページ https://4dqv.mpi-inf.mpg.de/Ub4D/
関連論文リスト
- Neural 4D Evolution under Large Topological Changes from 2D Images [5.678824325812255]
本研究では,大きなトポロジ的変化の下での3次元神経進化を4次元に拡張する上での課題に対処する。
i) 変形を識別・符号化する新しいアーキテクチャを導入し, SDF を学習し, (ii) 時間的一貫性を強制する手法を提案する。
2次元画像から直接の学習を容易にするために,RGB画像から幾何学や外観を遠ざける学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-22T15:47:42Z) - SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes [7.590932716513324]
本稿では,3次元ガウススティング(3DGS)と物理ベースレンダリング(PBR)と変形場を組み合わせた新しいアプローチであるSpectroMotionを提案する。
論文 参考訳（メタデータ） (2024-10-22T17:59:56Z) - Denoising Diffusion via Image-Based Rendering [54.20828696348574]
実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。
まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。
第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-05T19:00:45Z) - Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape Reconstruction and Tracking [52.393359791978035]
Motion2VecSetsは点雲列からの動的表面再構成のための4次元拡散モデルである。
グローバルな潜在符号の代わりに、潜在集合で4Dダイナミクスをパラメータ化する。
時間的コヒーレントな物体追跡のために、変形潜在集合を同期的に認知し、複数のフレーム間で情報を交換する。
論文 参考訳（メタデータ） (2024-01-12T15:05:08Z) - Single-view 3D Scene Reconstruction with High-fidelity Shape and Texture [47.44029968307207]
本研究では,物体の形状とテクスチャを同時に高忠実度に再現する新しい枠組みを提案する。
提案手法は,SSR(Single-view Neural implicit Shape and Radiance Field)表現を用いて,明示的な3次元形状制御とボリュームレンダリングの両方を活用する。
我々のフレームワークの特徴は、単一のビュー3D再構成モデルにレンダリング機能をシームレスに統合しながら、きめ細かいテクスチャメッシュを生成する能力である。
論文 参考訳（メタデータ） (2023-11-01T11:46:15Z) - Neuralangelo: High-Fidelity Neural Surface Reconstruction [22.971952498343942]
マルチレゾリューション3Dハッシュグリッドの表現力とニューラルサーフェスレンダリングを組み合わせたニューラルアンジェロを提案する。
深度などの補助的な入力がなくても、ニューラルランジェロは従来の手法をはるかに上回る忠実度を持つ多視点画像から高密度な3次元表面構造を効果的に回収することができる。
論文 参考訳（メタデータ） (2023-06-05T17:59:57Z) - NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos [82.74918564737591]
本稿では,モノクラーRGBビデオ入力のみから動的シーンの3次元形状と物理パラメータを学習する手法を提案する。
実験により,提案手法は,競合するニューラルフィールドアプローチと比較して,動的シーンのメッシュとビデオの再構成に優れることを示した。
論文 参考訳（メタデータ） (2022-10-22T04:57:55Z) - LoRD: Local 4D Implicit Representation for High-Fidelity Dynamic Human
Modeling [69.56581851211841]
そこで我々は,LoRDという,動的に衣を着る人間の局所的な4D暗黙表現を提案する。
私たちの重要な洞察は、ネットワークがローカルな部分レベルの表現の潜在コードを学ぶように促すことです。
LoRDは、4D人間を表現する能力が強く、実用上の最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2022-08-18T03:49:44Z) - Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular
Video Depth [90.33296913575818]
映像深度推定や映像からの3次元シーン再構成のようなビデオベースのシナリオでは、フレームごとの予測における未知のスケールとシフトが深度の不整合を引き起こす可能性がある。
局所重み付き線形回帰法を提案する。
提案手法は,複数のゼロショットベンチマークにおいて,既存の最先端手法の性能を50%向上させることができる。
論文 参考訳（メタデータ） (2022-02-03T08:52:54Z) - Learning monocular 3D reconstruction of articulated categories from
motion [39.811816510186475]
ビデオの自己スーパービジョンは、動きに基づくサイクルロスによる連続した3次元再構成の一貫性を強要する。
少数の局所的学習可能なハンドルの変位を介して3D表面を制御する3Dテンプレート変形の解釈可能なモデルを紹介します。
多様な形状, 視点, テクスチャを具体化して, 複数の対象カテゴリーのテクスチャを再現する。
論文 参考訳（メタデータ） (2021-03-30T13:50:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。