論文の概要: SurfelNeRF: Neural Surfel Radiance Fields for Online Photorealistic
Reconstruction of Indoor Scenes
- arxiv url: http://arxiv.org/abs/2304.08971v1
- Date: Tue, 18 Apr 2023 13:11:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-19 14:39:34.971843
- Title: SurfelNeRF: Neural Surfel Radiance Fields for Online Photorealistic
Reconstruction of Indoor Scenes
- Title(参考訳): SurfelNeRF: 屋内シーンのオンラインフォトリアリスティック再構成のためのニューラルサーフェル放射場
- Authors: Yiming Gao, Yan-Pei Cao, Ying Shan
- Abstract要約: SLAMに基づく手法は、3Dシーンの形状をリアルタイムで段階的に再構成することができるが、フォトリアリスティックな結果を描画することはできない。
NeRFベースの手法は、将来有望な新しいビュー合成結果を生成し、その長いオフライン最適化時間と幾何的制約の欠如は、オンライン入力を効率的に処理する上での課題となる。
本稿では、フレキシブルでスケーラブルなニューラルサーベイル表現を用いて、入力画像から幾何学的属性と外観特徴を抽出するSurfelNeRFを紹介する。
- 参考スコア(独自算出の注目度): 17.711755550841385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online reconstructing and rendering of large-scale indoor scenes is a
long-standing challenge. SLAM-based methods can reconstruct 3D scene geometry
progressively in real time but can not render photorealistic results. While
NeRF-based methods produce promising novel view synthesis results, their long
offline optimization time and lack of geometric constraints pose challenges to
efficiently handling online input. Inspired by the complementary advantages of
classical 3D reconstruction and NeRF, we thus investigate marrying explicit
geometric representation with NeRF rendering to achieve efficient online
reconstruction and high-quality rendering. We introduce SurfelNeRF, a variant
of neural radiance field which employs a flexible and scalable neural surfel
representation to store geometric attributes and extracted appearance features
from input images. We further extend the conventional surfel-based fusion
scheme to progressively integrate incoming input frames into the reconstructed
global neural scene representation. In addition, we propose a highly-efficient
differentiable rasterization scheme for rendering neural surfel radiance
fields, which helps SurfelNeRF achieve $10\times$ speedups in training and
inference time, respectively. Experimental results show that our method
achieves the state-of-the-art 23.82 PSNR and 29.58 PSNR on ScanNet in
feedforward inference and per-scene optimization settings, respectively.
- Abstract(参考訳): 大規模室内シーンのオンライン再構築とレンダリングは長年の課題である。
slamベースの手法は3dシーンの幾何学をリアルタイムで再構築できるが、フォトリアリスティックな結果が得られない。
nerfベースの手法は有望な新しいビュー合成結果を生成するが、そのオフライン最適化時間と幾何学的制約の欠如は、オンライン入力の効率的な処理に困難をもたらす。
古典的3次元再構成とnerfの相補的な利点に触発されて,明示的な幾何表現とnerfレンダリングを組み合わせることにより,効率的なオンライン再構成と高品質レンダリングを実現する。
本稿では、フレキシブルでスケーラブルなニューラルサーベイル表現を用いて、入力画像から幾何学的属性と外観特徴を抽出するSurfelNeRFを紹介する。
さらに,従来のサーフェルベース融合法を拡張し,入力フレームを再構成したグローバル・ニューラル・シーン表現に段階的に統合する。
さらに,SurfelNeRFがトレーニング時間と推論時間でそれぞれ10\times$スピードアップを達成するのに役立つ,ニューラルネットワーク放射場を描画するための高効率な微分ラスタライズ手法を提案する。
実験結果から,ScanNet上の23.82 PSNRと29.58 PSNRを,それぞれフィードフォワード推論とシーンごとの最適化設定で実現した。
関連論文リスト
- PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。
一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。
一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
論文 参考訳(メタデータ) (2023-12-17T08:30:00Z) - ReconFusion: 3D Reconstruction with Diffusion Priors [104.73604630145847]
本稿では,数枚の写真を用いて現実のシーンを再構成するReconFusionを提案する。
提案手法は,合成および多視点データセットに基づいて訓練された新規なビュー合成に先立って拡散を利用する。
本手法は,観測領域の外観を保ちながら,非拘束領域における現実的な幾何学とテクスチャを合成する。
論文 参考訳(メタデータ) (2023-12-05T18:59:58Z) - Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。
提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
論文 参考訳(メタデータ) (2023-04-20T17:59:52Z) - DehazeNeRF: Multiple Image Haze Removal and 3D Shape Reconstruction
using Neural Radiance Fields [56.30120727729177]
DehazeNeRFは,湿潤な環境下で頑健に動作するフレームワークとして紹介する。
提案手法は,複数視点のヘイズ除去,新しいビュー合成,既存手法が失敗する3次元形状再構成を成功させるものである。
論文 参考訳(メタデータ) (2023-03-20T18:03:32Z) - NeRFMeshing: Distilling Neural Radiance Fields into
Geometrically-Accurate 3D Meshes [56.31855837632735]
我々は、NeRF駆動のアプローチで容易に3次元表面を再構成できるコンパクトで柔軟なアーキテクチャを提案する。
最後の3Dメッシュは物理的に正確で、デバイスアレイ上でリアルタイムでレンダリングできます。
論文 参考訳(メタデータ) (2023-03-16T16:06:03Z) - Learning Neural Radiance Fields from Multi-View Geometry [1.1011268090482573]
画像に基づく3次元再構成のために,多視点幾何アルゴリズムとニューラルレージアンス場(NeRF)を組み合わせたMVG-NeRF(MVG-NeRF)というフレームワークを提案する。
NeRFは暗黙の3D表現の分野に革命をもたらした。
論文 参考訳(メタデータ) (2022-10-24T08:53:35Z) - NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction [50.54946139497575]
我々は,NeRF と TSDF をベースとした核融合技術の利点を組み合わせて,大規模再構築とフォトリアリスティックレンダリングを実現する手法であるNeRFusion を提案する。
我々は,大規模な屋内・小規模の両方の物体シーンにおいて,NeRFの最先端性を達成し,NeRFや他の最近の手法よりも大幅に高速に再現できることを実証した。
論文 参考訳(メタデータ) (2022-03-21T18:56:35Z) - MVSNeRF: Fast Generalizable Radiance Field Reconstruction from
Multi-View Stereo [52.329580781898116]
MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。
高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-03-29T13:15:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。