論文の概要: PSDF: Prior-Driven Neural Implicit Surface Learning for Multi-view
Reconstruction
- arxiv url: http://arxiv.org/abs/2401.12751v1
- Date: Tue, 23 Jan 2024 13:30:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 15:30:05.746727
- Title: PSDF: Prior-Driven Neural Implicit Surface Learning for Multi-view
Reconstruction
- Title(参考訳): PSDF:多視点再構成のための事前駆動型ニューラルインプシット表面学習
- Authors: Wanjuan Su, Chen Zhang, Qingshan Xu, Wenbing Tao
- Abstract要約: このフレームワークは、事前訓練されたMVSネットワークとNISRモデルに固有の内部幾何学的先駆体から外部幾何学的先駆体を利用する。
Tanks and Templesデータセットの実験は、PSDFが複雑な制御されていないシーンで最先端のパフォーマンスを達成することを示している。
- 参考スコア(独自算出の注目度): 31.768161784030923
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Surface reconstruction has traditionally relied on the Multi-View Stereo
(MVS)-based pipeline, which often suffers from noisy and incomplete geometry.
This is due to that although MVS has been proven to be an effective way to
recover the geometry of the scenes, especially for locally detailed areas with
rich textures, it struggles to deal with areas with low texture and large
variations of illumination where the photometric consistency is unreliable.
Recently, Neural Implicit Surface Reconstruction (NISR) combines surface
rendering and volume rendering techniques and bypasses the MVS as an
intermediate step, which has emerged as a promising alternative to overcome the
limitations of traditional pipelines. While NISR has shown impressive results
on simple scenes, it remains challenging to recover delicate geometry from
uncontrolled real-world scenes which is caused by its underconstrained
optimization. To this end, the framework PSDF is proposed which resorts to
external geometric priors from a pretrained MVS network and internal geometric
priors inherent in the NISR model to facilitate high-quality neural implicit
surface learning. Specifically, the visibility-aware feature consistency loss
and depth prior-assisted sampling based on external geometric priors are
introduced. These proposals provide powerfully geometric consistency
constraints and aid in locating surface intersection points, thereby
significantly improving the accuracy and delicate reconstruction of NISR.
Meanwhile, the internal prior-guided importance rendering is presented to
enhance the fidelity of the reconstructed surface mesh by mitigating the biased
rendering issue in NISR. Extensive experiments on the Tanks and Temples dataset
show that PSDF achieves state-of-the-art performance on complex uncontrolled
scenes.
- Abstract(参考訳): 表面再構成は伝統的にマルチビューステレオ(mvs)ベースのパイプラインに依存しており、ノイズや不完全な形状に苦しむことが多い。
これは、MVSがシーンの幾何を復元する有効な方法であることが証明されたためであり、特に局所的な詳細なテクスチャを持つ領域では、低テクスチャと光度整合性が信頼できない領域の照明に対処するのに苦労しているためである。
近年,neural implicit surface reconstruction (nisr) は表面レンダリングとボリュームレンダリング技術を組み合わせてmvsをバイパスし,従来のパイプラインの限界を克服するための代替手段として期待されている。
NISRは単純な場面で印象的な結果を示したが、制御されていない現実世界のシーンから微妙な幾何学を復元することは依然として困難である。
この目的のために,事前学習されたmvsネットワークからの外部幾何前処理と,nisrモデルに固有の内部幾何前処理を用いて,高品質な神経暗黙的表面学習を実現するフレームワークpsdfを提案する。
具体的には、視認性を考慮した特徴整合損失と、外部幾何学的先行値に基づく深度事前サンプリングを導入する。
これらの提案は、強力な幾何的整合性制約を提供し、表面交差点の配置を支援することにより、NISRの精度と微妙な再構成を大幅に改善する。
一方、内部の事前誘導強調表示は、NISRにおけるバイアスレンダリング問題を緩和することにより、再構成表面メッシュの忠実度を高めるために提示される。
Tanks and Templesデータセットの大規模な実験は、PSDFが複雑な制御されていないシーンで最先端のパフォーマンスを達成することを示している。
関連論文リスト
- NeuSurf: On-Surface Priors for Neural Surface Reconstruction from Sparse
Input Views [41.03837477483364]
本研究では,表面の高度に忠実な再構成を実現するために,地上の事前情報を活用する新しいスパース・ビュー・リコンストラクション・フレームワークを提案する。
具体的には,大域的幾何アライメントと局所的幾何洗練に関するいくつかの制約を設計し,粗い形状と細部を協調的に最適化する。
DTUとBlendedMVSデータセットによる2つの一般的なスパース設定の実験結果は、最先端の手法よりも大幅に改善されたことを示している。
論文 参考訳(メタデータ) (2023-12-21T16:04:45Z) - Indoor Scene Reconstruction with Fine-Grained Details Using Hybrid
Representation and Normal Prior Enhancement [53.10080345190996]
多視点RGB画像からの室内シーンの再構成は、平坦領域とテクスチャレス領域の共存により困難である。
近年の手法では、予測された表面正規化によって支援されたニューラルラジアンス場を利用してシーン形状を復元している。
本研究は, 上記の制限に対処して, 高忠実度表面を細かな詳細で再構築することを目的とする。
論文 参考訳(メタデータ) (2023-09-14T12:05:29Z) - Neural Poisson Surface Reconstruction: Resolution-Agnostic Shape
Reconstruction from Point Clouds [53.02191521770926]
我々は,3次元形状を点から復元するという課題に対処する形状再構成アーキテクチャであるニューラルポアソン表面再構成(nPSR)を導入する。
nPSRには2つの大きな利点がある: まず、高分解能評価において同等の性能を達成しつつ、低分解能データの効率的なトレーニングを可能にする。
全体として、ニューラル・ポアソン表面の再構成は、形状再構成における古典的なディープニューラルネットワークの限界を改良するだけでなく、再構築品質、走行時間、分解能非依存の観点からも優れた結果が得られる。
論文 参考訳(メタデータ) (2023-08-03T13:56:07Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳(メタデータ) (2023-03-03T17:14:44Z) - Critical Regularizations for Neural Surface Reconstruction in the Wild [26.460011241432092]
本稿では,高品質でロバストな再構成結果を得るのに,適切な点クラウド監視と幾何正規化が十分であることを示すRegSDFを提案する。
RegSDFは、複雑なトポロジと非構造化カメラ軌道を持つオープンシーンであっても、細部で表面を再構築することができる。
論文 参考訳(メタデータ) (2022-06-07T08:11:22Z) - MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface
Reconstruction [72.05649682685197]
最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。
これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。
近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
論文 参考訳(メタデータ) (2022-06-01T17:58:15Z) - Geo-Neus: Geometry-Consistent Neural Implicit Surfaces Learning for
Multi-view Reconstruction [41.43563122590449]
多視点再構成のための幾何一貫性のあるニューラルサーフェス学習を提案する。
提案手法は, 複雑な薄板構造と大きな平滑領域の両方において, 高品質な表面再構成を実現する。
論文 参考訳(メタデータ) (2022-05-31T14:52:07Z) - NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor
Multi-view Stereo [97.07453889070574]
本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。
提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
論文 参考訳(メタデータ) (2021-09-02T17:54:31Z) - NeuS: Learning Neural Implicit Surfaces by Volume Rendering for
Multi-view Reconstruction [88.02850205432763]
物体やシーンを2次元画像入力から高忠実度に再構成するニュートラルサーフェス(NeuS)を提案する。
DVRやIDRのような既存の神経表面再構成アプローチでは、フォアグラウンドマスクを監督する必要がある。
本研究では,従来のボリュームレンダリング手法が表面再構成に固有の幾何学的誤差を引き起こすことを観察する。
マスクの監督なしでもより正確な表面再構成を実現するため,第一次近似ではバイアスのない新しい定式化を提案する。
論文 参考訳(メタデータ) (2021-06-20T12:59:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。