論文の概要: UniSDF: Unifying Neural Representations for High-Fidelity 3D
Reconstruction of Complex Scenes with Reflections
- arxiv url: http://arxiv.org/abs/2312.13285v1
- Date: Wed, 20 Dec 2023 18:59:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 14:31:36.183653
- Title: UniSDF: Unifying Neural Representations for High-Fidelity 3D
Reconstruction of Complex Scenes with Reflections
- Title（参考訳）: UniSDF: 反射を伴う複合シーンの高忠実度3次元再構成のためのニューラル表現の統合
- Authors: Fangjinhua Wang, Marie-Julie Rakotosaona, Michael Niemeyer, Richard
Szeliski, Marc Pollefeys, Federico Tombari
- Abstract要約: 大規模な複雑なシーンをリフレクションで再構成できる汎用3次元再構成手法UniSDFを提案する。
提案手法は,複雑な大規模シーンを細部と反射面で頑健に再構築することができる。
- 参考スコア（独自算出の注目度）: 92.38975002642455
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural 3D scene representations have shown great potential for 3D
reconstruction from 2D images. However, reconstructing real-world captures of
complex scenes still remains a challenge. Existing generic 3D reconstruction
methods often struggle to represent fine geometric details and do not
adequately model reflective surfaces of large-scale scenes. Techniques that
explicitly focus on reflective surfaces can model complex and detailed
reflections by exploiting better reflection parameterizations. However, we
observe that these methods are often not robust in real unbounded scenarios
where non-reflective as well as reflective components are present. In this
work, we propose UniSDF, a general purpose 3D reconstruction method that can
reconstruct large complex scenes with reflections. We investigate both
view-based as well as reflection-based color prediction parameterization
techniques and find that explicitly blending these representations in 3D space
enables reconstruction of surfaces that are more geometrically accurate,
especially for reflective surfaces. We further combine this representation with
a multi-resolution grid backbone that is trained in a coarse-to-fine manner,
enabling faster reconstructions than prior methods. Extensive experiments on
object-level datasets DTU, Shiny Blender as well as unbounded datasets Mip-NeRF
360 and Ref-NeRF real demonstrate that our method is able to robustly
reconstruct complex large-scale scenes with fine details and reflective
surfaces. Please see our project page at
https://fangjinhuawang.github.io/UniSDF.
- Abstract（参考訳）: ニューラル3dシーン表現は、2d画像からの3d再構成に大きな可能性を示している。
しかし、現実の複雑なシーンを再現することは依然として課題である。
既存の一般的な3次元再構成法は、しばしば微細な幾何学的詳細を表現するのに苦労し、大規模なシーンの反射面を適切にモデル化しない。
反射面に明示的に焦点をあてるテクニックは、より優れた反射パラメータ化を利用して複雑で詳細な反射をモデル化することができる。
しかし,非反射的および反射的成分が存在する実非有界シナリオでは,これらの手法は頑健ではないことが多い。
本研究では,大規模な複雑なシーンをリフレクションで再構築可能な汎用3次元再構成手法UniSDFを提案する。
本研究では,3次元空間においてこれらの表現を明示的にブレンドすることで,特に反射面において,幾何学的に精度の高い面の再構成が可能になることを明らかにする。
さらに,この表現を,粗大から細かな方法でトレーニングされたマルチレゾリューショングリッドバックボーンと組み合わせることにより,従来手法よりも高速な再構築を実現する。
オブジェクトレベルのデータセットDTU, Shiny Blender, および非有界データセットMip-NeRF 360およびRef-NeRFの大規模な実験により, 複雑な大規模シーンを細部と反射面で頑健に再構成できることが実証された。
プロジェクトページはhttps://fangjinhuawang.github.io/UniSDFを参照してください。
関連論文リスト
- AniSDF: Fused-Granularity Neural Surfaces with Anisotropic Encoding for High-Fidelity 3D Reconstruction [55.69271635843385]
AniSDF(AniSDF)は,高忠実度3次元再構成のための物理に基づく符号化による融合粒度ニューラルサーフェスを学習する新しいアプローチである。
本手法は, 幾何再構成と新規ビュー合成の両面において, SDF法の品質を飛躍的に向上させる。
論文 参考訳（メタデータ） (2024-10-02T03:10:38Z) - NeRSP: Neural 3D Reconstruction for Reflective Objects with Sparse Polarized Images [62.752710734332894]
NeRSPはスパース偏光画像を用いた反射面のニューラル3次元再構成技術である。
偏光画像形成モデルと多視点方位整合性から測光的および幾何学的手がかりを導出する。
我々は6つのビューのみを入力として、最先端の表面再構成結果を達成する。
論文 参考訳（メタデータ） (2024-06-11T09:53:18Z) - NeRO: Neural Geometry and BRDF Reconstruction of Reflective Objects from
Multiview Images [44.1333444097976]
未知の環境で撮影された多視点画像から反射物体の形状とBRDFを再構成するニューラルネットワークNeROを提案する。
論文 参考訳（メタデータ） (2023-05-27T07:40:07Z) - FineRecon: Depth-aware Feed-forward Network for Detailed 3D
Reconstruction [13.157400338544177]
ポーズ画像からの3次元再構成に関する最近の研究は、深層ニューラルネットワークを用いてシーンレベルの3次元幾何を直接推定できることを実証している。
推論に基づく3次元再構成の忠実度を改善するための有効な3つの方法を提案する。
提案手法はスムーズかつ高精度な再構成を行い,多深度および3次元再構成の指標において顕著な改善が見られた。
論文 参考訳（メタデータ） (2023-04-04T02:50:29Z) - A Hierarchical Representation Network for Accurate and Detailed Face
Reconstruction from In-The-Wild Images [15.40230841242637]
本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。
我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。
本手法は,再現精度と視覚効果の両方において既存手法より優れる。
論文 参考訳（メタデータ） (2023-02-28T09:24:36Z) - VolRecon: Volume Rendering of Signed Ray Distance Functions for
Generalizable Multi-View Reconstruction [64.09702079593372]
VolRecon は Signed Ray Distance Function (SRDF) を用いた新しい一般化可能な暗黙的再構成法である
DTUデータセットでは、VolReconはスパースビュー再構築においてSparseNeuSを約30%上回り、フルビュー再構築においてMVSNetと同等の精度を達成する。
論文 参考訳（メタデータ） (2022-12-15T18:59:54Z) - Multi-View Neural Surface Reconstruction with Structured Light [7.709526244898887]
微分可能レンダリング(DR)に基づく3次元オブジェクト再構成はコンピュータビジョンにおいて活発な研究課題である。
DRに基づく多視点3Dオブジェクト再構成において,構造化光(SL)を用いたアクティブセンシングを導入し,任意のシーンやカメラポーズの未知の形状と外観を学習する。
本手法は, テクスチャレス領域における高い再現精度を実現し, カメラポーズキャリブレーションの労力を削減する。
論文 参考訳（メタデータ） (2022-11-22T03:10:46Z) - Multi-view 3D Reconstruction of a Texture-less Smooth Surface of Unknown
Generic Reflectance [86.05191217004415]
表面反射率の不明なテクスチャレス物体の多視点再構成は難しい課題である。
本稿では,コライトスキャナーをベースとした,この問題に対するシンプルで堅牢な解法を提案する。
論文 参考訳（メタデータ） (2021-05-25T01:28:54Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-27T21:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。