論文の概要: Indoor Scene Reconstruction with Fine-Grained Details Using Hybrid
Representation and Normal Prior Enhancement
- arxiv url: http://arxiv.org/abs/2309.07640v1
- Date: Thu, 14 Sep 2023 12:05:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-15 15:05:20.002052
- Title: Indoor Scene Reconstruction with Fine-Grained Details Using Hybrid
Representation and Normal Prior Enhancement
- Title(参考訳): ハイブリッド表現と正規強調を用いた細粒度情報を用いた屋内シーン再構成
- Authors: Sheng Ye, Yubin Hu, Matthieu Lin, Yu-Hui Wen, Wang Zhao, Wenping Wang,
Yong-Jin Liu
- Abstract要約: 多視点RGB画像からの室内シーンの再構成は、平坦領域とテクスチャレス領域の共存により困難である。
近年の手法では、予測された表面正規化によって支援されたニューラルラジアンス場を利用してシーン形状を復元している。
本稿では,低周波領域と高周波領域を別々に表現するハイブリッドアーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 53.10080345190997
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The reconstruction of indoor scenes from multi-view RGB images is challenging
due to the coexistence of flat and texture-less regions alongside delicate and
fine-grained regions. Recent methods leverage neural radiance fields aided by
predicted surface normal priors to recover the scene geometry. These methods
excel in producing complete and smooth results for floor and wall areas.
However, they struggle to capture complex surfaces with high-frequency
structures due to the inadequate neural representation and the inaccurately
predicted normal priors. To improve the capacity of the implicit
representation, we propose a hybrid architecture to represent low-frequency and
high-frequency regions separately. To enhance the normal priors, we introduce a
simple yet effective image sharpening and denoising technique, coupled with a
network that estimates the pixel-wise uncertainty of the predicted surface
normal vectors. Identifying such uncertainty can prevent our model from being
misled by unreliable surface normal supervisions that hinder the accurate
reconstruction of intricate geometries. Experiments on the benchmark datasets
show that our method significantly outperforms existing methods in terms of
reconstruction quality.
- Abstract(参考訳): 多視点rgb画像からの室内シーンの復元は,繊細で微細な領域と,平坦でテクスチャのない領域が共存していることから困難である。
近年の手法では、予測された表面正規化によって支援されたニューラルラジアンス場を利用してシーン形状を復元している。
これらの方法は、床と壁面の完全な滑らかな結果を生み出すのに優れている。
しかし、それらは不適切な神経表現と不正確に予測された正常な前兆のために高周波構造を持つ複雑な表面を捉えるのに苦労している。
暗黙の表現能力を向上させるために,低周波領域と高周波領域を別々に表現するハイブリッドアーキテクチャを提案する。
そこで本研究では,予測した面正規ベクトルの画素方向の不確かさを推定するネットワークと組み合わせることで,画像のシャープ化とノイズ除去を簡易かつ効果的に行う手法を提案する。
このような不確実性を特定することは、複雑なジオメトリの正確な再構築を妨げる信頼できない表面正常な監督によって、モデルが誤解されるのを防ぐ可能性がある。
評価実験の結果,提案手法は既存手法よりも再現性が高いことがわかった。
関連論文リスト
- GeoGaussian: Geometry-aware Gaussian Splatting for Scene Rendering [83.19049705653072]
ガウススプレイティング最適化の過程で、その構造が意図的に保存されていない場合、シーンの幾何学は徐々に悪化する。
我々はこの問題を緩和するためにGeoGaussianと呼ばれる新しいアプローチを提案する。
提案するパイプラインは、新しいビュー合成と幾何再構成において最先端の性能を達成する。
論文 参考訳(メタデータ) (2024-03-17T20:06:41Z) - PSDF: Prior-Driven Neural Implicit Surface Learning for Multi-view
Reconstruction [31.768161784030923]
このフレームワークは、事前訓練されたMVSネットワークとNISRモデルに固有の内部幾何学的先駆体から外部幾何学的先駆体を利用する。
Tanks and Templesデータセットの実験は、PSDFが複雑な制御されていないシーンで最先端のパフォーマンスを達成することを示している。
論文 参考訳(メタデータ) (2024-01-23T13:30:43Z) - NeuSurf: On-Surface Priors for Neural Surface Reconstruction from Sparse
Input Views [41.03837477483364]
本研究では,表面の高度に忠実な再構成を実現するために,地上の事前情報を活用する新しいスパース・ビュー・リコンストラクション・フレームワークを提案する。
具体的には,大域的幾何アライメントと局所的幾何洗練に関するいくつかの制約を設計し,粗い形状と細部を協調的に最適化する。
DTUとBlendedMVSデータセットによる2つの一般的なスパース設定の実験結果は、最先端の手法よりも大幅に改善されたことを示している。
論文 参考訳(メタデータ) (2023-12-21T16:04:45Z) - Fast Monocular Scene Reconstruction with Global-Sparse Local-Dense Grids [84.90863397388776]
本稿では,スパルス・ボクセル・ブロック・グリッドにおける署名付き距離関数(SDF)を直接使用して,距離のない高速かつ正確なシーン再構成を実現することを提案する。
我々の世界規模で疎密で局所的なデータ構造は、表面の空間的空間性を利用して、キャッシュフレンドリーなクエリを可能にし、マルチモーダルデータへの直接拡張を可能にします。
実験により、我々のアプローチはトレーニングでは10倍、レンダリングでは100倍高速であり、最先端のニューラル暗黙法に匹敵する精度を実現していることがわかった。
論文 参考訳(メタデータ) (2023-05-22T16:50:19Z) - NeuRIS: Neural Reconstruction of Indoor Scenes Using Normal Priors [84.66706400428303]
室内シーンを高品質に再現する新手法NeuRISを提案する。
NeuRISは、ニューラルネットワークのフレームワークにおいて、室内シーンの推定正規性を前者として統合している。
実験により、NeuRISは再建品質の点で最先端の手法を著しく上回っていることが示された。
論文 参考訳(メタデータ) (2022-06-27T19:22:03Z) - SparseNeuS: Fast Generalizable Neural Surface Reconstruction from Sparse
views [40.7986573030214]
SparseNeuSは,多視点画像から表面再構成を行う新しいニューラルレンダリング手法である。
SparseNeuSは、新しいシーンに一般化し、スパースイメージ(2または3まで)でうまく機能する。
論文 参考訳(メタデータ) (2022-06-12T13:34:03Z) - MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface
Reconstruction [72.05649682685197]
最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。
これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。
近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
論文 参考訳(メタデータ) (2022-06-01T17:58:15Z) - NeuS: Learning Neural Implicit Surfaces by Volume Rendering for
Multi-view Reconstruction [88.02850205432763]
物体やシーンを2次元画像入力から高忠実度に再構成するニュートラルサーフェス(NeuS)を提案する。
DVRやIDRのような既存の神経表面再構成アプローチでは、フォアグラウンドマスクを監督する必要がある。
本研究では,従来のボリュームレンダリング手法が表面再構成に固有の幾何学的誤差を引き起こすことを観察する。
マスクの監督なしでもより正確な表面再構成を実現するため,第一次近似ではバイアスのない新しい定式化を提案する。
論文 参考訳(メタデータ) (2021-06-20T12:59:42Z) - Sign-Agnostic CONet: Learning Implicit Surface Reconstructions by
Sign-Agnostic Optimization of Convolutional Occupancy Networks [39.65056638604885]
畳み込み型ネットワークの符号非依存最適化により暗黙的表面再構成を学習する。
この目標をシンプルで効果的な設計で効果的に達成できることを示す。
論文 参考訳(メタデータ) (2021-05-08T03:35:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。