論文の概要: UniSDF: Unifying Neural Representations for High-Fidelity 3D Reconstruction of Complex Scenes with Reflections

• arxiv url: http://arxiv.org/abs/2312.13285v2
• Date: Mon, 09 Dec 2024 20:19:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:33:55.156554
• Title: UniSDF: Unifying Neural Representations for High-Fidelity 3D Reconstruction of Complex Scenes with Reflections
• Title（参考訳）: UniSDF: 反射を伴う複合シーンの高忠実度3次元再構成のためのニューラル表現の統合
• Authors: Fangjinhua Wang, Marie-Julie Rakotosaona, Michael Niemeyer, Richard Szeliski, Marc Pollefeys, Federico Tombari,
• Abstract要約: 大規模な複雑なシーンをリフレクションで再構成できる汎用3次元再構成手法UniSDFを提案する。 提案手法は,複雑な大規模シーンを細部と反射面で頑健に再構築し,全体的な性能を向上する。
• 参考スコア（独自算出の注目度）: 87.191742674543
• License:
• Abstract: Neural 3D scene representations have shown great potential for 3D reconstruction from 2D images. However, reconstructing real-world captures of complex scenes still remains a challenge. Existing generic 3D reconstruction methods often struggle to represent fine geometric details and do not adequately model reflective surfaces of large-scale scenes. Techniques that explicitly focus on reflective surfaces can model complex and detailed reflections by exploiting better reflection parameterizations. However, we observe that these methods are often not robust in real scenarios where non-reflective as well as reflective components are present. In this work, we propose UniSDF, a general purpose 3D reconstruction method that can reconstruct large complex scenes with reflections. We investigate both camera view as well as reflected view-based color parameterization techniques and find that explicitly blending these representations in 3D space enables reconstruction of surfaces that are more geometrically accurate, especially for reflective surfaces. We further combine this representation with a multi-resolution grid backbone that is trained in a coarse-to-fine manner, enabling faster reconstructions than prior methods. Extensive experiments on object-level datasets DTU, Shiny Blender as well as unbounded datasets Mip-NeRF 360 and Ref-NeRF real demonstrate that our method is able to robustly reconstruct complex large-scale scenes with fine details and reflective surfaces, leading to the best overall performance. Project page: \url{https://fangjinhuawang.github.io/UniSDF}.
• Abstract（参考訳）: ニューラル3次元シーン表現は2次元画像からの3次元再構成に大きな可能性を示している。 しかし、複雑なシーンの現実世界の撮影を再現することは依然として困難である。 既存の一般的な3D再構成手法は、しばしば細かな幾何学的詳細を表現するのに苦労し、大規模なシーンの反射面を適切にモデル化しない。 反射面に明示的にフォーカスする技術は、より優れた反射パラメタライゼーションを利用することで、複雑で詳細な反射をモデル化することができる。 しかし、反射成分が存在しない現実のシナリオでは、これらの手法は堅牢ではないことが多い。 本研究では,大規模な複雑なシーンをリフレクションで再構築可能な汎用3次元再構成手法であるUniSDFを提案する。 カメラビューと反射面に基づく色パラメータ化技術の両方について検討し、これらの表現を3次元空間に明示的にブレンドすることで、特に反射面において、より幾何学的に正確な曲面の再構成が可能になることを発見した。 さらに、この表現を、粗大な方法で訓練されたマルチレゾリューショングリッドバックボーンと組み合わせることで、従来の方法よりも高速な再構築を可能にする。 オブジェクトレベルのデータセットDTU,Shiny Blender,および非有界データセットMip-NeRF 360およびRef-NeRFの大規模な実験により,我々の手法が複雑な大規模シーンを細部と反射面で堅牢に再構成できることが実証された。 プロジェクトページ: \url{https://fangjinhuawang.github.io/UniSDF}。

関連論文リスト

• 3D Face Reconstruction With Geometry Details From a Single Color Image Under Occluded Scenes [4.542616945567623]
  3D顔再構成技術は、自然かつ現実的に顔ステレオモデルを作成することを目的としている。 従来のディープ・フェイス・リコンストラクション・アプローチは、一般的に説得力のあるテクスチャを生成するために設計されている。 バンプマッピングを導入することで、3Dの顔を粗くするために中程度の細部を追加しました。
  論文  参考訳（メタデータ） (2024-12-25T15:16:02Z)
• AniSDF: Fused-Granularity Neural Surfaces with Anisotropic Encoding for High-Fidelity 3D Reconstruction [55.69271635843385]
  AniSDF(AniSDF)は,高忠実度3次元再構成のための物理に基づく符号化による融合粒度ニューラルサーフェスを学習する新しいアプローチである。 本手法は, 幾何再構成と新規ビュー合成の両面において, SDF法の品質を飛躍的に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T03:10:38Z)
• NeRSP: Neural 3D Reconstruction for Reflective Objects with Sparse Polarized Images [62.752710734332894]
  NeRSPはスパース偏光画像を用いた反射面のニューラル3次元再構成技術である。 偏光画像形成モデルと多視点方位整合性から測光的および幾何学的手がかりを導出する。 我々は6つのビューのみを入力として、最先端の表面再構成結果を達成する。
  論文  参考訳（メタデータ） (2024-06-11T09:53:18Z)
• NeRO: Neural Geometry and BRDF Reconstruction of Reflective Objects from Multiview Images [44.1333444097976]
  未知の環境で撮影された多視点画像から反射物体の形状とBRDFを再構成するニューラルネットワークNeROを提案する。
  論文  参考訳（メタデータ） (2023-05-27T07:40:07Z)
• gSDF: Geometry-Driven Signed Distance Functions for 3D Hand-Object Reconstruction [94.46581592405066]
  我々は手の構造を利用してSDFによる形状復元の指導を行う。 我々は、ポーズ変換のキネマティック連鎖を予測し、SDFを高調波ハンドポーズと整列させる。
  論文  参考訳（メタデータ） (2023-04-24T10:05:48Z)
• A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images [15.40230841242637]
  本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。 我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。 本手法は,再現精度と視覚効果の両方において既存手法より優れる。
  論文  参考訳（メタデータ） (2023-02-28T09:24:36Z)
• VolRecon: Volume Rendering of Signed Ray Distance Functions for Generalizable Multi-View Reconstruction [64.09702079593372]
  VolRecon は Signed Ray Distance Function (SRDF) を用いた新しい一般化可能な暗黙的再構成法である DTUデータセットでは、VolReconはスパースビュー再構築においてSparseNeuSを約30%上回り、フルビュー再構築においてMVSNetと同等の精度を達成する。
  論文  参考訳（メタデータ） (2022-12-15T18:59:54Z)
• Multi-View Neural Surface Reconstruction with Structured Light [7.709526244898887]
  微分可能レンダリング(DR)に基づく3次元オブジェクト再構成はコンピュータビジョンにおいて活発な研究課題である。 DRに基づく多視点3Dオブジェクト再構成において,構造化光(SL)を用いたアクティブセンシングを導入し,任意のシーンやカメラポーズの未知の形状と外観を学習する。 本手法は, テクスチャレス領域における高い再現精度を実現し, カメラポーズキャリブレーションの労力を削減する。
  論文  参考訳（メタデータ） (2022-11-22T03:10:46Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。