論文の概要: Normal-guided Detail-Preserving Neural Implicit Functions for High-Fidelity 3D Surface Reconstruction
- arxiv url: http://arxiv.org/abs/2406.04861v1
- Date: Fri, 7 Jun 2024 11:48:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-10 14:20:58.724463
- Title: Normal-guided Detail-Preserving Neural Implicit Functions for High-Fidelity 3D Surface Reconstruction
- Title（参考訳）: 高忠実度3次元表面再構成のための正規誘導深部保存型ニューラルインシシデント関数
- Authors: Aarya Patel, Hamid Laga, Ojaswa Sharma,
- Abstract要約: RGBまたはRGBD画像からニューラル暗黙表現を学習する現在の方法は、欠落した部分と詳細を持つ3D曲面を生成する。
本稿では,1次微分特性を持つニューラル表現のトレーニング,すなわち表面正規化が,高精度な3次元表面再構成をもたらすことを示す。
- 参考スコア（独自算出の注目度）: 6.4279213810512665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural implicit representations have emerged as a powerful paradigm for 3D reconstruction. However, despite their success, existing methods fail to capture fine geometric details and thin structures, especially in scenarios where only sparse RGB views of the objects of interest are available. We hypothesize that current methods for learning neural implicit representations from RGB or RGBD images produce 3D surfaces with missing parts and details because they only rely on 0-order differential properties, i.e. the 3D surface points and their projections, as supervisory signals. Such properties, however, do not capture the local 3D geometry around the points and also ignore the interactions between points. This paper demonstrates that training neural representations with first-order differential properties, i.e. surface normals, leads to highly accurate 3D surface reconstruction even in situations where only as few as two RGB (front and back) images are available. Given multiview RGB images of an object of interest, we first compute the approximate surface normals in the image space using the gradient of the depth maps produced using an off-the-shelf monocular depth estimator such as Depth Anything model. An implicit surface regressor is then trained using a loss function that enforces the first-order differential properties of the regressed surface to match those estimated from Depth Anything. Our extensive experiments on a wide range of real and synthetic datasets show that the proposed method achieves an unprecedented level of reconstruction accuracy even when using as few as two RGB views. The detailed ablation study also demonstrates that normal-based supervision plays a key role in this significant improvement in performance, enabling the 3D reconstruction of intricate geometric details and thin structures that were previously challenging to capture.
- Abstract（参考訳）: ニューラルな暗黙の表現は、3D再構成の強力なパラダイムとして現れている。
しかし、その成功にもかかわらず、既存の手法では微妙な幾何学的詳細や細い構造を捉えられなかった。
我々は、RGBまたはRGBD画像からニューラル暗示表現を学習する現在の手法は、0次微分特性、すなわち3次元表面点とその投影を監督信号としてのみ依存するため、欠落した部分と細部を持つ3D曲面を生成すると仮定する。
しかし、そのような性質は点の周りの局所的な3次元幾何学を捉えず、点間の相互作用を無視する。
本稿では,2つのRGB(前/後ろ)画像しか利用できない状況においても,1次微分特性,すなわち表面正規化による神経表現の訓練が高精度な3次元表面再構成をもたらすことを示す。
対象物の多視点RGB画像が与えられた場合、まずDepth Anythingモデルのような既製の単分子深度推定器を用いて生成した深度マップの勾配を用いて、画像空間の近似曲面正規度を計算する。
その後、暗黙の面回帰器は損失関数を用いて訓練され、この関数は回帰面の1階微分特性を強制し、深さの任意の値から推定される値に一致する。
提案手法は,RGBビューを2回も使用しても,前例のない精度で再現可能であることを示す。
詳細なアブレーション研究は、通常の監督が、これまで捕獲が困難だった複雑な幾何学的詳細と細い構造物の3D再構成を可能にする、この大幅な性能向上に重要な役割を担っていることも示している。
関連論文リスト
- ANIM: Accurate Neural Implicit Model for Human Reconstruction from a single RGB-D image [40.03212588672639]
ANIMは単視点RGB-D画像から任意の3次元形状を前例のない精度で再構成する新しい手法である。
我々のモデルは、深度情報を活用するためにピクセル整列とボクセル整列の両方の機能から幾何学的詳細を学習する。
実験によると、ANIMはRGB、表面正規、ポイントクラウド、RGB-Dデータを入力として使用する最先端の作業よりも優れている。
論文 参考訳（メタデータ） (2024-03-15T14:45:38Z) - MonoNPHM: Dynamic Head Reconstruction from Monocular Videos [47.504979561265536]
モノクラーRGBビデオからの動的3次元頭部再構成のためのモノクラーニューラルパラメトリックヘッドモデル(MonoNPHM)を提案する。
我々は、RGBからの勾配が逆レンダリング中の潜時幾何学符号に効果的に影響を及ぼすような、下層の幾何学と相関する予測色値を制約する。
論文 参考訳（メタデータ） (2023-12-11T17:55:05Z) - NeuSG: Neural Implicit Surface Reconstruction with 3D Gaussian Splatting
Guidance [59.08521048003009]
本稿では,3次元ガウススプラッティングから高精細な表面を復元する神経暗黙的表面再構成パイプラインを提案する。
3Dガウススプラッティングの利点は、詳細な構造を持つ高密度の点雲を生成することができることである。
我々は3次元ガウスを極端に薄くすることで、表面に近い中心を引っ張るスケール正則化器を導入する。
論文 参考訳（メタデータ） (2023-12-01T07:04:47Z) - Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud
Analysis [66.49788145564004]
我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。
我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
論文 参考訳（メタデータ） (2022-12-17T15:05:25Z) - Recovering Fine Details for Neural Implicit Surface Reconstruction [3.9702081347126943]
そこで我々はD-NeuSを提案する。D-NeuSは、微細な幾何学的詳細を復元できるボリュームレンダリング型ニューラル暗示表面再構成法である。
我々は,SDFゼロクロスの補間により表面点に多視点の特徴的整合性を付与する。
本手法は,高精度な表面を細部で再構成し,その性能を向上する。
論文 参考訳（メタデータ） (2022-11-21T10:06:09Z) - GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。
3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。
実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
論文 参考訳（メタデータ） (2022-06-18T16:58:49Z) - H3D-Net: Few-Shot High-Fidelity 3D Head Reconstruction [27.66008315400462]
表面形状を暗黙的に表現する最近の学習手法は、多視点3次元再構成の問題において顕著な結果を示している。
我々はこれらの制限を,数発のフル3次元頭部再構成の特定の問題に対処する。
暗黙の表現を用いて,数千個の不完全な生スキャンから3次元頭部形状モデルを学習する。
論文 参考訳（メタデータ） (2021-07-26T23:04:18Z) - Deep Implicit Surface Point Prediction Networks [49.286550880464866]
暗黙の関数としての3次元形状の深い神経表現は、高忠実度モデルを生成することが示されている。
本稿では,CSP(Nest Surface-point)表現と呼ばれる新しい種類の暗黙の表現を用いて,そのような曲面をモデル化する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2021-06-10T14:31:54Z) - Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。
ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。
提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
論文 参考訳（メタデータ） (2020-08-18T06:33:40Z) - Geodesic-HOF: 3D Reconstruction Without Cutting Corners [42.4960665928525]
シングルビュー3Dオブジェクト再構成は、コンピュータビジョンの難しい根本的な問題である。
標準サンプリング領域から高次元空間への画像条件付き写像関数を学習する。
この学習された測地線埋め込み空間は、教師なしオブジェクト分解のようなアプリケーションに有用な情報を提供する。
論文 参考訳（メタデータ） (2020-06-14T18:59:06Z) - Implicit Functions in Feature Space for 3D Shape Reconstruction and
Completion [53.885984328273686]
Implicit Feature Networks (IF-Nets) は連続的な出力を提供し、複数のトポロジを扱える。
IF-NetsはShapeNetにおける3次元オブジェクト再構成における先行作業よりも明らかに優れており、より正確な3次元人間の再構成が得られる。
論文 参考訳（メタデータ） (2020-03-03T11:14:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。