論文の概要: Indoor Scene Reconstruction with Fine-Grained Details Using Hybrid
Representation and Normal Prior Enhancement
- arxiv url: http://arxiv.org/abs/2309.07640v2
- Date: Mon, 25 Dec 2023 12:35:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 21:54:07.468893
- Title: Indoor Scene Reconstruction with Fine-Grained Details Using Hybrid
Representation and Normal Prior Enhancement
- Title(参考訳): ハイブリッド表現と正規強調を用いた細粒度情報を用いた屋内シーン再構成
- Authors: Sheng Ye, Yubin Hu, Matthieu Lin, Yu-Hui Wen, Wang Zhao, Yong-Jin Liu,
Wenping Wang
- Abstract要約: 多視点RGB画像からの室内シーンの再構成は、平坦領域とテクスチャレス領域の共存により困難である。
近年の手法では、予測された表面正規化によって支援されたニューラルラジアンス場を利用してシーン形状を復元している。
本研究は, 上記の制限に対処して, 高忠実度表面を細かな詳細で再構築することを目的とする。
- 参考スコア(独自算出の注目度): 53.10080345190996
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The reconstruction of indoor scenes from multi-view RGB images is challenging
due to the coexistence of flat and texture-less regions alongside delicate and
fine-grained regions. Recent methods leverage neural radiance fields aided by
predicted surface normal priors to recover the scene geometry. These methods
excel in producing complete and smooth results for floor and wall areas.
However, they struggle to capture complex surfaces with high-frequency
structures due to the inadequate neural representation and the inaccurately
predicted normal priors. This work aims to reconstruct high-fidelity surfaces
with fine-grained details by addressing the above limitations. To improve the
capacity of the implicit representation, we propose a hybrid architecture to
represent low-frequency and high-frequency regions separately. To enhance the
normal priors, we introduce a simple yet effective image sharpening and
denoising technique, coupled with a network that estimates the pixel-wise
uncertainty of the predicted surface normal vectors. Identifying such
uncertainty can prevent our model from being misled by unreliable surface
normal supervisions that hinder the accurate reconstruction of intricate
geometries. Experiments on the benchmark datasets show that our method
outperforms existing methods in terms of reconstruction quality. Furthermore,
the proposed method also generalizes well to real-world indoor scenarios
captured by our hand-held mobile phones. Our code is publicly available at:
https://github.com/yec22/Fine-Grained-Indoor-Recon.
- Abstract(参考訳): 多視点rgb画像からの室内シーンの復元は,繊細で微細な領域と,平坦でテクスチャのない領域が共存していることから困難である。
近年の手法では、予測された表面正規化によって支援されたニューラルラジアンス場を利用してシーン形状を復元している。
これらの方法は、床と壁面の完全な滑らかな結果を生み出すのに優れている。
しかし、それらは不適切な神経表現と不正確に予測された正常な前兆のために高周波構造を持つ複雑な表面を捉えるのに苦労している。
本研究は, 上記の制限に対処して, 高忠実表面を細かな詳細で再構築することを目的とする。
暗黙の表現能力を向上させるために,低周波領域と高周波領域を別々に表現するハイブリッドアーキテクチャを提案する。
そこで本研究では,予測した面正規ベクトルの画素方向の不確かさを推定するネットワークと組み合わせることで,画像のシャープ化とノイズ除去を簡易かつ効果的に行う手法を提案する。
このような不確実性を特定することは、複雑なジオメトリの正確な再構築を妨げる信頼できない表面正常な監督によって、モデルが誤解されるのを防ぐ可能性がある。
評価実験の結果,提案手法は既存手法よりも再現性が高いことがわかった。
さらに,提案手法は,携帯端末が捉えた実世界の屋内シナリオにもよく適用できる。
私たちのコードは、https://github.com/yec22/Fine-Grained-Indoor-Reconで公開されています。
関連論文リスト
- PSDF: Prior-Driven Neural Implicit Surface Learning for Multi-view
Reconstruction [31.768161784030923]
このフレームワークは、事前訓練されたMVSネットワークとNISRモデルに固有の内部幾何学的先駆体から外部幾何学的先駆体を利用する。
Tanks and Templesデータセットの実験は、PSDFが複雑な制御されていないシーンで最先端のパフォーマンスを達成することを示している。
論文 参考訳(メタデータ) (2024-01-23T13:30:43Z) - NeuSurf: On-Surface Priors for Neural Surface Reconstruction from Sparse
Input Views [41.03837477483364]
本研究では,表面の高度に忠実な再構成を実現するために,地上の事前情報を活用する新しいスパース・ビュー・リコンストラクション・フレームワークを提案する。
具体的には,大域的幾何アライメントと局所的幾何洗練に関するいくつかの制約を設計し,粗い形状と細部を協調的に最適化する。
DTUとBlendedMVSデータセットによる2つの一般的なスパース設定の実験結果は、最先端の手法よりも大幅に改善されたことを示している。
論文 参考訳(メタデータ) (2023-12-21T16:04:45Z) - Fast Monocular Scene Reconstruction with Global-Sparse Local-Dense Grids [84.90863397388776]
本稿では,スパルス・ボクセル・ブロック・グリッドにおける署名付き距離関数(SDF)を直接使用して,距離のない高速かつ正確なシーン再構成を実現することを提案する。
我々の世界規模で疎密で局所的なデータ構造は、表面の空間的空間性を利用して、キャッシュフレンドリーなクエリを可能にし、マルチモーダルデータへの直接拡張を可能にします。
実験により、我々のアプローチはトレーニングでは10倍、レンダリングでは100倍高速であり、最先端のニューラル暗黙法に匹敵する精度を実現していることがわかった。
論文 参考訳(メタデータ) (2023-05-22T16:50:19Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳(メタデータ) (2023-03-03T17:14:44Z) - NeuRIS: Neural Reconstruction of Indoor Scenes Using Normal Priors [84.66706400428303]
室内シーンを高品質に再現する新手法NeuRISを提案する。
NeuRISは、ニューラルネットワークのフレームワークにおいて、室内シーンの推定正規性を前者として統合している。
実験により、NeuRISは再建品質の点で最先端の手法を著しく上回っていることが示された。
論文 参考訳(メタデータ) (2022-06-27T19:22:03Z) - SparseNeuS: Fast Generalizable Neural Surface Reconstruction from Sparse
views [40.7986573030214]
SparseNeuSは,多視点画像から表面再構成を行う新しいニューラルレンダリング手法である。
SparseNeuSは、新しいシーンに一般化し、スパースイメージ(2または3まで)でうまく機能する。
論文 参考訳(メタデータ) (2022-06-12T13:34:03Z) - MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface
Reconstruction [72.05649682685197]
最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。
これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。
近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
論文 参考訳(メタデータ) (2022-06-01T17:58:15Z) - NeuS: Learning Neural Implicit Surfaces by Volume Rendering for
Multi-view Reconstruction [88.02850205432763]
物体やシーンを2次元画像入力から高忠実度に再構成するニュートラルサーフェス(NeuS)を提案する。
DVRやIDRのような既存の神経表面再構成アプローチでは、フォアグラウンドマスクを監督する必要がある。
本研究では,従来のボリュームレンダリング手法が表面再構成に固有の幾何学的誤差を引き起こすことを観察する。
マスクの監督なしでもより正確な表面再構成を実現するため,第一次近似ではバイアスのない新しい定式化を提案する。
論文 参考訳(メタデータ) (2021-06-20T12:59:42Z) - Sign-Agnostic CONet: Learning Implicit Surface Reconstructions by
Sign-Agnostic Optimization of Convolutional Occupancy Networks [39.65056638604885]
畳み込み型ネットワークの符号非依存最適化により暗黙的表面再構成を学習する。
この目標をシンプルで効果的な設計で効果的に達成できることを示す。
論文 参考訳(メタデータ) (2021-05-08T03:35:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。