Fugu-MT 論文翻訳(概要): High-Fidelity Mask-free Neural Surface Reconstruction for Virtual Reality

論文の概要: High-Fidelity Mask-free Neural Surface Reconstruction for Virtual Reality

arxiv url: http://arxiv.org/abs/2409.13158v1
Date: Fri, 20 Sep 2024 02:07:49 GMT
ステータス: 処理完了
システム内更新日: 2024-11-07 11:41:13.326702
Title: High-Fidelity Mask-free Neural Surface Reconstruction for Virtual Reality
Title（参考訳）: 仮想現実感のための高忠実マスクレスニューラルサーフェス再構成
Authors: Haotian Bai, Yize Chen, Lin Wang,
Abstract要約: Hi-NeuSは、ニューラル暗黙表面再構成のための新しいレンダリングベースのフレームワークである。提案手法はNeuSとその変種であるNeuralangeloを用いて検証されている。
参考スコア（独自算出の注目度）: 6.987660269386849
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Object-centric surface reconstruction from multi-view images is crucial in creating editable digital assets for AR/VR. Due to the lack of geometric constraints, existing methods, e.g., NeuS necessitate annotating the object masks to reconstruct compact surfaces in mesh processing. Mask annotation, however, incurs considerable labor costs due to its cumbersome nature. This paper presents Hi-NeuS, a novel rendering-based framework for neural implicit surface reconstruction, aiming to recover compact and precise surfaces without multi-view object masks. Our key insight is that the overlapping regions in the object-centric views naturally highlight the object of interest as the camera orbits around objects. The object of interest can be specified by estimating the distribution of the rendering weights accumulated from multiple views, which implicitly identifies the surface that a user intends to capture. This inspires us to design a geometric refinement approach, which takes multi-view rendering weights to guide the signed distance functions (SDF) of neural surfaces in a self-supervised manner. Specifically, it retains these weights to resample a pseudo surface based on their distribution. This facilitates the alignment of the SDF to the object of interest. We then regularize the SDF's bias for geometric consistency. Moreover, we propose to use unmasked Chamfer Distance(CD) to measure the extracted mesh without post-processing for more precise evaluation. Our approach has been validated through NeuS and its variant Neuralangelo, demonstrating its adaptability across different NeuS backbones. Extensive benchmark on the DTU dataset shows that our method reduces surface noise by about 20%, and improves the unmasked CD by around 30%, achieving better surface details. The superiority of Hi-NeuS is further validated on BlendedMVS and handheld camera captures for content creation.
Abstract（参考訳）: 多視点画像からのオブジェクト中心の表面再構成は、AR/VRのための編集可能なデジタルアセットを作成する上で重要である。幾何学的制約が欠如しているため、既存の方法、例えばNeuSはメッシュ処理でコンパクトな表面を再構築するためにオブジェクトマスクに注釈を付ける必要がある。しかし、マスクの注釈は、その厄介な性質のためにかなりの労働コストをもたらしている。本稿では,多視点オブジェクトマスクを使わずにコンパクトかつ正確な表面を復元することを目的とした,ニューラル暗黙表面再構成のための新しいレンダリングベースフレームワークであるHi-NeuSを提案する。私たちの重要な洞察は、オブジェクト中心のビューの重なり合う領域は、カメラがオブジェクトの周りを周回するときに、自然に関心の対象を浮き彫りにするということです。興味の対象は、複数のビューから蓄積されたレンダリング重量の分布を推定することで特定できる。これにより、多視点レンダリングウェイトを用いて、ニューラルネットワークの符号付き距離関数(SDF)を自己監督的にガイドする幾何学的洗練手法が考案される。具体的には、これらの重みを保ち、それらの分布に基づいて擬似表面を再サンプリングする。これにより、SDFと関心の対象とのアライメントが容易になる。次に、幾何整合性に対するSDFのバイアスを正則化する。さらに, より正確な評価のために, ポストプロセッシングを行わずに, 抽出したメッシュを計測するためにアンマスクド・チャンファー距離(CD)を用いることを提案する。我々のアプローチはNeuSとその変種であるNeuangeloを通じて検証され、異なるNeuSバックボーン間の適応性を実証した。 DTUデータセットの広範囲なベンチマークにより,本手法は表面ノイズを約20%低減し,未加工のCDを約30%改善し,表面の細部を改良した。 Hi-NeuSの優位性はさらに、BlendedMVSとハンドヘルドカメラによるコンテンツ作成に有効である。

関連論文リスト

NeuRodin: A Two-stage Framework for High-Fidelity Neural Surface Reconstruction [63.85586195085141]
サイン付き距離関数 (SDF) を用いたボリュームレンダリングは, 表面再構成において有意な機能を示した。ニューロディン(NeuRodin)は、新しい2段階の神経表面再構成フレームワークである。 NeuRodinは高忠実な表面再構成を実現し、密度ベース手法の柔軟な最適化特性を維持している。
論文参考訳（メタデータ） (2024-08-19T17:36:35Z)
Learning Topology Uniformed Face Mesh by Volume Rendering for Multi-view Reconstruction [40.45683488053611]
一貫性のあるトポロジにおける顔メッシュは、多くの顔関連アプリケーションの基盤となる。トポロジを保存しながらメッシュ形状を直接最適化するメッシュボリュームレンダリング手法を提案する。主要なイノベーションは、ボリュームレンダリングに必要な放射界をシミュレートするために、スパースメッシュ機能を周辺空間に広めることである。
論文参考訳（メタデータ） (2024-04-08T15:25:50Z)
ObjectSDF++: Improved Object-Compositional Neural Implicit Surfaces [40.489487738598825]
近年,多視点3次元再構成のパラダイムとして神経暗黙的表面再構成が注目されている。以前の作業では、ObjectSDFは、オブジェクト合成ニューラルな暗黙の面の優れたフレームワークを導入しました。我々はObjectSDF++と呼ばれる新しいフレームワークを提案し、ObjectSDFの限界を克服する。
論文参考訳（メタデータ） (2023-08-15T16:35:40Z)
Looking Through the Glass: Neural Surface Reconstruction Against High Specular Reflections [72.45512144682554]
暗黙的ニューラルレンダリングに基づく新しい表面再構成フレームワークNeuS-HSRを提案する。 NeuS-HSRでは、物体表面は暗黙の符号付き距離関数としてパラメータ化される。我々は、NeuS-HSRが、HSRに対する高精度で堅牢なターゲット表面再構成において、最先端のアプローチよりも優れていることを示す。
論文参考訳（メタデータ） (2023-04-18T02:34:58Z)
NeAT: Learning Neural Implicit Surfaces with Arbitrary Topologies from Multi-view Images [17.637064969966847]
NeATは、多視点画像から任意のトポロジを持つ暗黙の曲面を学習する、新しいニューラルネットワークレンダリングフレームワークである。 NeATは、古典的なマーチングキューブアルゴリズムを用いて、フィールドからメッシュへの変換を容易にする。我々のアプローチは、水密面と非水密面の両方を忠実に再構築することができる。
論文参考訳（メタデータ） (2023-03-21T16:49:41Z)
MM-3DScene: 3D Scene Understanding by Customizing Masked Modeling with Informative-Preserved Reconstruction and Self-Distilled Consistency [120.9499803967496]
本稿では,地域統計を探索し,代表的構造化点の発見と保存を行う新しい情報保存型再構築法を提案する。本手法は, 地域形状のモデル化に集中し, マスク復元のあいまいさを軽減できる。マスク付き領域における情報保存型再構築と未加工領域からの連続自己蒸留を組み合わせることにより,MM-3DSceneと呼ばれる統合フレームワークが提供される。
論文参考訳（メタデータ） (2022-12-20T01:53:40Z)
MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction [72.05649682685197]
最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
論文参考訳（メタデータ） (2022-06-01T17:58:15Z)
Learning Signed Distance Field for Multi-view Surface Reconstruction [24.090786783370195]
ステレオマッチングと特徴整合性の知識を生かした新しいニューラルネットワーク表面再構成フレームワークを提案する。サインされた距離場(SDF)と表面光場(SDF)をそれぞれ、シーン形状と外観を表すために適用する。本手法は,地形推定のロバスト性を向上し,複雑なシーントポロジの再構築を支援する。
論文参考訳（メタデータ） (2021-08-23T06:23:50Z)
NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction [88.02850205432763]
物体やシーンを2次元画像入力から高忠実度に再構成するニュートラルサーフェス(NeuS)を提案する。 DVRやIDRのような既存の神経表面再構成アプローチでは、フォアグラウンドマスクを監督する必要がある。本研究では,従来のボリュームレンダリング手法が表面再構成に固有の幾何学的誤差を引き起こすことを観察する。マスクの監督なしでもより正確な表面再構成を実現するため,第一次近似ではバイアスのない新しい定式化を提案する。
論文参考訳（メタデータ） (2021-06-20T12:59:42Z)
UNISURF: Unifying Neural Implicit Surfaces and Radiance Fields for Multi-View Reconstruction [61.17219252031391]
ニューラル暗黙的3D表現を用いた多視点画像から表面を再構築する新しい手法を提案する。我々の重要な洞察は、暗黙の曲面モデルと放射場を統一的に定式化し、表面および体積のレンダリングを可能にすることである。実験により, マスクを必要とせず, idrと同等の性能を保ちつつ, 再構成品質でnrfを上回った。
論文参考訳（メタデータ） (2021-04-20T15:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。