論文の概要: GURecon: Learning Detailed 3D Geometric Uncertainties for Neural Surface Reconstruction
- arxiv url: http://arxiv.org/abs/2412.14939v1
- Date: Thu, 19 Dec 2024 15:15:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-20 13:31:10.324569
- Title: GURecon: Learning Detailed 3D Geometric Uncertainties for Neural Surface Reconstruction
- Title(参考訳): GURecon: 神経表面再構成のための3次元幾何学的不確かさの学習
- Authors: Zesong Yang, Ru Zhang, Jiale Shi, Zixiang Ai, Boming Zhao, Hujun Bao, Luwei Yang, Zhaopeng Cui,
- Abstract要約: 本稿では,幾何整合性に基づく神経表面の幾何不確実性場を確立する新しいフレームワークGUReconを提案する。
様々なデータセットの実験は、GUReconの3次元幾何学的不確かさのモデル化における優位性を示している。
- 参考スコア(独自算出の注目度): 46.32074326890457
- License:
- Abstract: Neural surface representation has demonstrated remarkable success in the areas of novel view synthesis and 3D reconstruction. However, assessing the geometric quality of 3D reconstructions in the absence of ground truth mesh remains a significant challenge, due to its rendering-based optimization process and entangled learning of appearance and geometry with photometric losses. In this paper, we present a novel framework, i.e, GURecon, which establishes a geometric uncertainty field for the neural surface based on geometric consistency. Different from existing methods that rely on rendering-based measurement, GURecon models a continuous 3D uncertainty field for the reconstructed surface, and is learned by an online distillation approach without introducing real geometric information for supervision. Moreover, in order to mitigate the interference of illumination on geometric consistency, a decoupled field is learned and exploited to finetune the uncertainty field. Experiments on various datasets demonstrate the superiority of GURecon in modeling 3D geometric uncertainty, as well as its plug-and-play extension to various neural surface representations and improvement on downstream tasks such as incremental reconstruction. The code and supplementary material are available on the project website: https://zju3dv.github.io/GURecon/.
- Abstract(参考訳): ニューラルサーフェス表現は、新しいビュー合成と3D再構成の領域で顕著な成功を収めた。
しかし、3次元復元の幾何的品質を評価することは、レンダリングに基づく最適化プロセスと、光学的損失を伴う外観と幾何学の絡み合った学習のため、依然として大きな課題である。
本稿では,幾何整合性に基づく神経表面の幾何不確実性場を確立する新しい枠組み,すなわちGUReconを提案する。
GUReconは、レンダリングベースの計測に依存する既存の方法とは異なり、再構成表面の連続した3次元不確実性場をモデル化し、実際の幾何学的情報を導入せずにオンライン蒸留法で学習する。
さらに、照明の干渉を幾何的整合性に軽減するために、疎結合場を学習し、不確実性フィールドを微調整するために利用する。
様々なデータセットの実験では、GUReconの3次元幾何不確かさのモデリングにおける優位性や、様々なニューラルサーフェス表現へのプラグアンドプレイ拡張、インクリメンタル再構成などの下流タスクの改善が示されている。
コードと補足資料はプロジェクトのWebサイト(https://zju3dv.github.io/GURecon/)で入手できる。
関連論文リスト
- AniSDF: Fused-Granularity Neural Surfaces with Anisotropic Encoding for High-Fidelity 3D Reconstruction [55.69271635843385]
AniSDF(AniSDF)は,高忠実度3次元再構成のための物理に基づく符号化による融合粒度ニューラルサーフェスを学習する新しいアプローチである。
本手法は, 幾何再構成と新規ビュー合成の両面において, SDF法の品質を飛躍的に向上させる。
論文 参考訳(メタデータ) (2024-10-02T03:10:38Z) - CVRecon: Rethinking 3D Geometric Feature Learning For Neural
Reconstruction [12.53249207602695]
本稿では,エンドツーエンドの3Dニューラル再構成フレームワークCVReconを提案する。
コストボリュームにリッチな幾何学的埋め込みを利用して、3次元の幾何学的特徴学習を容易にする。
論文 参考訳(メタデータ) (2023-04-28T05:30:19Z) - HR-NeuS: Recovering High-Frequency Surface Geometry via Neural Implicit
Surfaces [6.382138631957651]
我々は新しい暗黙表面再構成法であるHigh-Resolution NeuSを提案する。
HR-NeuSは大規模な再構成精度を維持しながら高周波表面形状を復元する。
我々は,DTUおよびBlendedMVSデータセットを用いた実験により,従来の手法と同等の精度で定性的に詳細かつ定量的な3次元測地を生成できることを実証した。
論文 参考訳(メタデータ) (2023-02-14T02:25:16Z) - Recovering Fine Details for Neural Implicit Surface Reconstruction [3.9702081347126943]
そこで我々はD-NeuSを提案する。D-NeuSは、微細な幾何学的詳細を復元できるボリュームレンダリング型ニューラル暗示表面再構成法である。
我々は,SDFゼロクロスの補間により表面点に多視点の特徴的整合性を付与する。
本手法は,高精度な表面を細部で再構成し,その性能を向上する。
論文 参考訳(メタデータ) (2022-11-21T10:06:09Z) - Learning Neural Radiance Fields from Multi-View Geometry [1.1011268090482573]
画像に基づく3次元再構成のために,多視点幾何アルゴリズムとニューラルレージアンス場(NeRF)を組み合わせたMVG-NeRF(MVG-NeRF)というフレームワークを提案する。
NeRFは暗黙の3D表現の分野に革命をもたらした。
論文 参考訳(メタデータ) (2022-10-24T08:53:35Z) - Uncertainty Guided Policy for Active Robotic 3D Reconstruction using
Neural Radiance Fields [82.21033337949757]
本稿では,物体の暗黙のニューラル表現の各光線に沿ったカラーサンプルの重量分布のエントロピーを計算した線量不確実性推定器を提案する。
提案した推定器を用いた新しい視点から, 基礎となる3次元形状の不確かさを推測することが可能であることを示す。
ニューラルラディアンス場に基づく表現における線量不確実性によって導かれる次ベクター選択ポリシーを提案する。
論文 参考訳(メタデータ) (2022-09-17T21:28:57Z) - SNeS: Learning Probably Symmetric Neural Surfaces from Incomplete Data [77.53134858717728]
我々はニューラルレイディアンスフィールド(NeRF)のようなニューラルリコンストラクションとレンダリングの最近の進歩の強みの上に構築する。
我々は3次元形状と材料特性にソフト対称性の制約を適用し,光,アルベド色,反射率に分解された外観を有する。
保存されていない領域を高い忠実度で再構成し、高品質な新しいビュー画像を作成することができることを示す。
論文 参考訳(メタデータ) (2022-06-13T17:37:50Z) - Multi-view 3D Reconstruction of a Texture-less Smooth Surface of Unknown
Generic Reflectance [86.05191217004415]
表面反射率の不明なテクスチャレス物体の多視点再構成は難しい課題である。
本稿では,コライトスキャナーをベースとした,この問題に対するシンプルで堅牢な解法を提案する。
論文 参考訳(メタデータ) (2021-05-25T01:28:54Z) - Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。
ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。
提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
論文 参考訳(メタデータ) (2020-08-18T06:33:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。