論文の概要: Indoor Scene Reconstruction with Fine-Grained Details Using Hybrid Representation and Normal Prior Enhancement

• arxiv url: http://arxiv.org/abs/2309.07640v2
• Date: Mon, 25 Dec 2023 12:35:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 21:54:07.468893
• Title: Indoor Scene Reconstruction with Fine-Grained Details Using Hybrid Representation and Normal Prior Enhancement
• Title（参考訳）: ハイブリッド表現と正規強調を用いた細粒度情報を用いた屋内シーン再構成
• Authors: Sheng Ye, Yubin Hu, Matthieu Lin, Yu-Hui Wen, Wang Zhao, Yong-Jin Liu, Wenping Wang
• Abstract要約: 多視点RGB画像からの室内シーンの再構成は、平坦領域とテクスチャレス領域の共存により困難である。 近年の手法では、予測された表面正規化によって支援されたニューラルラジアンス場を利用してシーン形状を復元している。 本研究は, 上記の制限に対処して, 高忠実度表面を細かな詳細で再構築することを目的とする。
• 参考スコア（独自算出の注目度）: 53.10080345190996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The reconstruction of indoor scenes from multi-view RGB images is challenging due to the coexistence of flat and texture-less regions alongside delicate and fine-grained regions. Recent methods leverage neural radiance fields aided by predicted surface normal priors to recover the scene geometry. These methods excel in producing complete and smooth results for floor and wall areas. However, they struggle to capture complex surfaces with high-frequency structures due to the inadequate neural representation and the inaccurately predicted normal priors. This work aims to reconstruct high-fidelity surfaces with fine-grained details by addressing the above limitations. To improve the capacity of the implicit representation, we propose a hybrid architecture to represent low-frequency and high-frequency regions separately. To enhance the normal priors, we introduce a simple yet effective image sharpening and denoising technique, coupled with a network that estimates the pixel-wise uncertainty of the predicted surface normal vectors. Identifying such uncertainty can prevent our model from being misled by unreliable surface normal supervisions that hinder the accurate reconstruction of intricate geometries. Experiments on the benchmark datasets show that our method outperforms existing methods in terms of reconstruction quality. Furthermore, the proposed method also generalizes well to real-world indoor scenarios captured by our hand-held mobile phones. Our code is publicly available at: https://github.com/yec22/Fine-Grained-Indoor-Recon.
• Abstract（参考訳）: 多視点rgb画像からの室内シーンの復元は,繊細で微細な領域と,平坦でテクスチャのない領域が共存していることから困難である。 近年の手法では、予測された表面正規化によって支援されたニューラルラジアンス場を利用してシーン形状を復元している。 これらの方法は、床と壁面の完全な滑らかな結果を生み出すのに優れている。 しかし、それらは不適切な神経表現と不正確に予測された正常な前兆のために高周波構造を持つ複雑な表面を捉えるのに苦労している。 本研究は, 上記の制限に対処して, 高忠実表面を細かな詳細で再構築することを目的とする。 暗黙の表現能力を向上させるために,低周波領域と高周波領域を別々に表現するハイブリッドアーキテクチャを提案する。 そこで本研究では,予測した面正規ベクトルの画素方向の不確かさを推定するネットワークと組み合わせることで,画像のシャープ化とノイズ除去を簡易かつ効果的に行う手法を提案する。 このような不確実性を特定することは、複雑なジオメトリの正確な再構築を妨げる信頼できない表面正常な監督によって、モデルが誤解されるのを防ぐ可能性がある。 評価実験の結果,提案手法は既存手法よりも再現性が高いことがわかった。 さらに,提案手法は,携帯端末が捉えた実世界の屋内シナリオにもよく適用できる。 私たちのコードは、https://github.com/yec22/Fine-Grained-Indoor-Reconで公開されています。

関連論文リスト

• ND-SDF: Learning Normal Deflection Fields for High-Fidelity Indoor Reconstruction [50.07671826433922]
  微妙な幾何を同時に復元し、異なる特徴を持つ領域をまたいだ滑らかさを保つことは自明ではない。 そこで我々は,ND-SDFを提案する。ND-SDFは,通常のシーンとそれ以前のシーンの角偏差を表す正規偏向場を学習する。 本手法は, 壁面や床面などのスムーズなテクスチャ構造を得るだけでなく, 複雑な構造の幾何学的詳細も保存する。
  論文  参考訳（メタデータ） (2024-08-22T17:59:01Z)
• PGSR: Planar-based Gaussian Splatting for Efficient and High-Fidelity Surface Reconstruction [37.14913599050765]
  高忠実表面再構成を実現するために,高速平面型ガウススプラッティング再構成表現(PGSR)を提案する。 次に、大域的幾何精度を維持するために、一視点幾何、多視点測光、幾何正則化を導入する。 提案手法は3DGS法およびNeRF法よりも優れた高忠実度レンダリングと幾何再構成を維持しつつ,高速なトレーニングとレンダリングを実現する。
  論文  参考訳（メタデータ） (2024-06-10T17:59:01Z)
• GeoGaussian: Geometry-aware Gaussian Splatting for Scene Rendering [83.19049705653072]
  ガウススプレイティング最適化の過程で、その構造が意図的に保存されていない場合、シーンの幾何学は徐々に悪化する。 我々はこの問題を緩和するためにGeoGaussianと呼ばれる新しいアプローチを提案する。 提案するパイプラインは、新しいビュー合成と幾何再構成において最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-03-17T20:06:41Z)
• PSDF: Prior-Driven Neural Implicit Surface Learning for Multi-view Reconstruction [31.768161784030923]
  このフレームワークは、事前訓練されたMVSネットワークとNISRモデルに固有の内部幾何学的先駆体から外部幾何学的先駆体を利用する。 Tanks and Templesデータセットの実験は、PSDFが複雑な制御されていないシーンで最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2024-01-23T13:30:43Z)
• Fast Monocular Scene Reconstruction with Global-Sparse Local-Dense Grids [84.90863397388776]
  本稿では,スパルス・ボクセル・ブロック・グリッドにおける署名付き距離関数(SDF)を直接使用して,距離のない高速かつ正確なシーン再構成を実現することを提案する。 我々の世界規模で疎密で局所的なデータ構造は、表面の空間的空間性を利用して、キャッシュフレンドリーなクエリを可能にし、マルチモーダルデータへの直接拡張を可能にします。 実験により、我々のアプローチはトレーニングでは10倍、レンダリングでは100倍高速であり、最先端のニューラル暗黙法に匹敵する精度を実現していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T16:50:19Z)
• NeuRIS: Neural Reconstruction of Indoor Scenes Using Normal Priors [84.66706400428303]
  室内シーンを高品質に再現する新手法NeuRISを提案する。 NeuRISは、ニューラルネットワークのフレームワークにおいて、室内シーンの推定正規性を前者として統合している。 実験により、NeuRISは再建品質の点で最先端の手法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2022-06-27T19:22:03Z)
• SparseNeuS: Fast Generalizable Neural Surface Reconstruction from Sparse views [40.7986573030214]
  SparseNeuSは,多視点画像から表面再構成を行う新しいニューラルレンダリング手法である。 SparseNeuSは、新しいシーンに一般化し、スパースイメージ(2または3まで)でうまく機能する。
  論文  参考訳（メタデータ） (2022-06-12T13:34:03Z)
• NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction [88.02850205432763]
  物体やシーンを2次元画像入力から高忠実度に再構成するニュートラルサーフェス(NeuS)を提案する。 DVRやIDRのような既存の神経表面再構成アプローチでは、フォアグラウンドマスクを監督する必要がある。 本研究では,従来のボリュームレンダリング手法が表面再構成に固有の幾何学的誤差を引き起こすことを観察する。 マスクの監督なしでもより正確な表面再構成を実現するため,第一次近似ではバイアスのない新しい定式化を提案する。
  論文  参考訳（メタデータ） (2021-06-20T12:59:42Z)
• Sign-Agnostic CONet: Learning Implicit Surface Reconstructions by Sign-Agnostic Optimization of Convolutional Occupancy Networks [39.65056638604885]
  畳み込み型ネットワークの符号非依存最適化により暗黙的表面再構成を学習する。 この目標をシンプルで効果的な設計で効果的に達成できることを示す。
  論文  参考訳（メタデータ） (2021-05-08T03:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。