論文の概要: PSDF: Prior-Driven Neural Implicit Surface Learning for Multi-view Reconstruction

• arxiv url: http://arxiv.org/abs/2401.12751v1
• Date: Tue, 23 Jan 2024 13:30:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-24 15:30:05.746727
• Title: PSDF: Prior-Driven Neural Implicit Surface Learning for Multi-view Reconstruction
• Title（参考訳）: PSDF:多視点再構成のための事前駆動型ニューラルインプシット表面学習
• Authors: Wanjuan Su, Chen Zhang, Qingshan Xu, Wenbing Tao
• Abstract要約: このフレームワークは、事前訓練されたMVSネットワークとNISRモデルに固有の内部幾何学的先駆体から外部幾何学的先駆体を利用する。 Tanks and Templesデータセットの実験は、PSDFが複雑な制御されていないシーンで最先端のパフォーマンスを達成することを示している。
• 参考スコア（独自算出の注目度）: 31.768161784030923
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Surface reconstruction has traditionally relied on the Multi-View Stereo (MVS)-based pipeline, which often suffers from noisy and incomplete geometry. This is due to that although MVS has been proven to be an effective way to recover the geometry of the scenes, especially for locally detailed areas with rich textures, it struggles to deal with areas with low texture and large variations of illumination where the photometric consistency is unreliable. Recently, Neural Implicit Surface Reconstruction (NISR) combines surface rendering and volume rendering techniques and bypasses the MVS as an intermediate step, which has emerged as a promising alternative to overcome the limitations of traditional pipelines. While NISR has shown impressive results on simple scenes, it remains challenging to recover delicate geometry from uncontrolled real-world scenes which is caused by its underconstrained optimization. To this end, the framework PSDF is proposed which resorts to external geometric priors from a pretrained MVS network and internal geometric priors inherent in the NISR model to facilitate high-quality neural implicit surface learning. Specifically, the visibility-aware feature consistency loss and depth prior-assisted sampling based on external geometric priors are introduced. These proposals provide powerfully geometric consistency constraints and aid in locating surface intersection points, thereby significantly improving the accuracy and delicate reconstruction of NISR. Meanwhile, the internal prior-guided importance rendering is presented to enhance the fidelity of the reconstructed surface mesh by mitigating the biased rendering issue in NISR. Extensive experiments on the Tanks and Temples dataset show that PSDF achieves state-of-the-art performance on complex uncontrolled scenes.
• Abstract（参考訳）: 表面再構成は伝統的にマルチビューステレオ(mvs)ベースのパイプラインに依存しており、ノイズや不完全な形状に苦しむことが多い。 これは、MVSがシーンの幾何を復元する有効な方法であることが証明されたためであり、特に局所的な詳細なテクスチャを持つ領域では、低テクスチャと光度整合性が信頼できない領域の照明に対処するのに苦労しているためである。 近年,neural implicit surface reconstruction (nisr) は表面レンダリングとボリュームレンダリング技術を組み合わせてmvsをバイパスし,従来のパイプラインの限界を克服するための代替手段として期待されている。 NISRは単純な場面で印象的な結果を示したが、制御されていない現実世界のシーンから微妙な幾何学を復元することは依然として困難である。 この目的のために,事前学習されたmvsネットワークからの外部幾何前処理と,nisrモデルに固有の内部幾何前処理を用いて,高品質な神経暗黙的表面学習を実現するフレームワークpsdfを提案する。 具体的には、視認性を考慮した特徴整合損失と、外部幾何学的先行値に基づく深度事前サンプリングを導入する。 これらの提案は、強力な幾何的整合性制約を提供し、表面交差点の配置を支援することにより、NISRの精度と微妙な再構成を大幅に改善する。 一方、内部の事前誘導強調表示は、NISRにおけるバイアスレンダリング問題を緩和することにより、再構成表面メッシュの忠実度を高めるために提示される。 Tanks and Templesデータセットの大規模な実験は、PSDFが複雑な制御されていないシーンで最先端のパフォーマンスを達成することを示している。

関連論文リスト

• ND-SDF: Learning Normal Deflection Fields for High-Fidelity Indoor Reconstruction [50.07671826433922]
  微妙な幾何を同時に復元し、異なる特徴を持つ領域をまたいだ滑らかさを保つことは自明ではない。 そこで我々は,ND-SDFを提案する。ND-SDFは,通常のシーンとそれ以前のシーンの角偏差を表す正規偏向場を学習する。 本手法は, 壁面や床面などのスムーズなテクスチャ構造を得るだけでなく, 複雑な構造の幾何学的詳細も保存する。
  論文  参考訳（メタデータ） (2024-08-22T17:59:01Z)
• NeuRodin: A Two-stage Framework for High-Fidelity Neural Surface Reconstruction [63.85586195085141]
  サイン付き距離関数 (SDF) を用いたボリュームレンダリングは, 表面再構成において有意な機能を示した。 ニューロディン(NeuRodin)は、新しい2段階の神経表面再構成フレームワークである。 NeuRodinは高忠実な表面再構成を実現し、密度ベース手法の柔軟な最適化特性を維持している。
  論文  参考訳（メタデータ） (2024-08-19T17:36:35Z)
• GeoGaussian: Geometry-aware Gaussian Splatting for Scene Rendering [83.19049705653072]
  ガウススプレイティング最適化の過程で、その構造が意図的に保存されていない場合、シーンの幾何学は徐々に悪化する。 我々はこの問題を緩和するためにGeoGaussianと呼ばれる新しいアプローチを提案する。 提案するパイプラインは、新しいビュー合成と幾何再構成において最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-03-17T20:06:41Z)
• NeuSurf: On-Surface Priors for Neural Surface Reconstruction from Sparse Input Views [41.03837477483364]
  本研究では,表面の高度に忠実な再構成を実現するために,地上の事前情報を活用する新しいスパース・ビュー・リコンストラクション・フレームワークを提案する。 具体的には,大域的幾何アライメントと局所的幾何洗練に関するいくつかの制約を設計し,粗い形状と細部を協調的に最適化する。 DTUとBlendedMVSデータセットによる2つの一般的なスパース設定の実験結果は、最先端の手法よりも大幅に改善されたことを示している。
  論文  参考訳（メタデータ） (2023-12-21T16:04:45Z)
• Indoor Scene Reconstruction with Fine-Grained Details Using Hybrid Representation and Normal Prior Enhancement [50.56517624931987]
  多視点RGB画像からの室内シーンの再構成は、平坦領域とテクスチャレス領域の共存により困難である。 近年の手法では、予測された表面正規化によって支援されたニューラルラジアンス場を利用してシーン形状を復元している。 本研究は, 上記の制限に対処して, 高忠実度表面を細かな詳細で再構築することを目的とする。
  論文  参考訳（メタデータ） (2023-09-14T12:05:29Z)
• Critical Regularizations for Neural Surface Reconstruction in the Wild [26.460011241432092]
  本稿では,高品質でロバストな再構成結果を得るのに,適切な点クラウド監視と幾何正規化が十分であることを示すRegSDFを提案する。 RegSDFは、複雑なトポロジと非構造化カメラ軌道を持つオープンシーンであっても、細部で表面を再構築することができる。
  論文  参考訳（メタデータ） (2022-06-07T08:11:22Z)
• MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction [72.05649682685197]
  最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。 これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。 近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
  論文  参考訳（メタデータ） (2022-06-01T17:58:15Z)
• Geo-Neus: Geometry-Consistent Neural Implicit Surfaces Learning for Multi-view Reconstruction [41.43563122590449]
  多視点再構成のための幾何一貫性のあるニューラルサーフェス学習を提案する。 提案手法は, 複雑な薄板構造と大きな平滑領域の両方において, 高品質な表面再構成を実現する。
  論文  参考訳（メタデータ） (2022-05-31T14:52:07Z)
• NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction [88.02850205432763]
  物体やシーンを2次元画像入力から高忠実度に再構成するニュートラルサーフェス(NeuS)を提案する。 DVRやIDRのような既存の神経表面再構成アプローチでは、フォアグラウンドマスクを監督する必要がある。 本研究では,従来のボリュームレンダリング手法が表面再構成に固有の幾何学的誤差を引き起こすことを観察する。 マスクの監督なしでもより正確な表面再構成を実現するため,第一次近似ではバイアスのない新しい定式化を提案する。
  論文  参考訳（メタデータ） (2021-06-20T12:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。