論文の概要: Depth Priors in Removal Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2405.00630v2
• Date: Mon, 13 May 2024 23:17:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 18:32:33.597856
• Title: Depth Priors in Removal Neural Radiance Fields
• Title（参考訳）: 神経放射場除去における深さ先行
• Authors: Zhihao Guo, Peng Wang,
• Abstract要約: NeRFにおける重要な課題は、オブジェクト除去などの再構成された3Dシーンの編集である。 これまでの研究では、通常LiDARやCOLMAPのスパース深さ推定から得られる深度を統合して、物体除去におけるNeRFの性能を高めてきた。 本稿では、SpinNeRFとZoeDepthのような単眼深度推定モデルを利用して、物体除去におけるNeRFの性能を向上し、効率を向上する新しいパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 3.935427742243637
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Radiance Fields have achieved impressive results in 3D reconstruction and novel view generation. A significant challenge within NeRF involves editing reconstructed 3D scenes, such as object removal, which demands consistency across multiple views and the synthesis of high-quality perspectives. Previous studies have integrated depth priors, typically sourced from LiDAR or sparse depth estimates from COLMAP, to enhance NeRF's performance in object removal. However, these methods are either expensive or time-consuming. This paper proposes a new pipeline that leverages SpinNeRF and monocular depth estimation models like ZoeDepth to enhance NeRF's performance in complex object removal with improved efficiency. A thorough evaluation of COLMAP's dense depth reconstruction on the KITTI dataset is conducted to demonstrate that COLMAP can be viewed as a cost-effective and scalable alternative for acquiring depth ground truth compared to traditional methods like LiDAR. This serves as the basis for evaluating the performance of monocular depth estimation models to determine the best one for generating depth priors for SpinNeRF. The new pipeline is tested in various scenarios involving 3D reconstruction and object removal, and the results indicate that our pipeline significantly reduces the time required for depth prior acquisition for object removal and enhances the fidelity of the synthesized views, suggesting substantial potential for building high-fidelity digital twin systems with increased efficiency in the future.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールドは3次元再構成と新しいビュー生成において印象的な成果を上げている。 NeRFにおける重要な課題は、複数のビューの一貫性と高品質な視点の合成を要求するオブジェクト除去のような再構成された3Dシーンの編集である。 これまでの研究では、通常LiDARやCOLMAPのスパース深さ推定から得られる深度を統合して、物体除去におけるNeRFの性能を高めてきた。 しかし、これらの手法は高価か時間を要する。 本稿では、SpinNeRFとZoeDepthのような単眼深度推定モデルを利用して、複雑な物体除去におけるNeRFの性能を向上し、効率を向上するパイプラインを提案する。 KITTIデータセット上でのCOLMAPの深い深度再構成の徹底的な評価を行い、LiDARのような従来の手法と比較して、COLMAPはコスト効率が高くスケーラブルな真理を得るための代替手段とみなすことができることを示した。 これは、SpinNeRFの奥行き先を生成するのに最適なものを決定するために、単眼深度推定モデルの性能を評価する基礎となる。 新しいパイプラインは3次元再構成とオブジェクト除去を含む様々なシナリオでテストされ、その結果、我々のパイプラインはオブジェクト除去のための深度取得に要する時間を著しく削減し、合成されたビューの忠実度を高め、将来、高忠実度デジタルツインシステムを構築する可能性を示している。

関連論文リスト

• Uncertainty-guided Optimal Transport in Depth Supervised Sparse-View 3D Gaussian [49.21866794516328]
  3次元ガウシアンスプラッティングは、リアルタイムな新規ビュー合成において顕著な性能を示した。 これまでのアプローチでは、3Dガウスの訓練に奥行き監視を取り入れ、オーバーフィッティングを軽減してきた。 本研究では,3次元ガウスの深度分布を可視化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:18:30Z)
• Neural Poisson Surface Reconstruction: Resolution-Agnostic Shape Reconstruction from Point Clouds [53.02191521770926]
  我々は,3次元形状を点から復元するという課題に対処する形状再構成アーキテクチャであるニューラルポアソン表面再構成(nPSR)を導入する。 nPSRには2つの大きな利点がある: まず、高分解能評価において同等の性能を達成しつつ、低分解能データの効率的なトレーニングを可能にする。 全体として、ニューラル・ポアソン表面の再構成は、形状再構成における古典的なディープニューラルネットワークの限界を改良するだけでなく、再構築品質、走行時間、分解能非依存の観点からも優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-08-03T13:56:07Z)
• Incremental Dense Reconstruction from Monocular Video with Guided Sparse Feature Volume Fusion [23.984073189849024]
  本報告では, TSDF値のリアルタイムな特徴量に基づく高密度再構成手法を提案し, 新たな深部特徴量からTSDF値を推定する。 不確実性を認識したマルチビューステレオネットワークを利用して、スパース特徴量における物理表面の初期ボクセル位置を推定する。 提案手法は,多くの場合において,より細部でより完全な再構築が可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-24T09:06:01Z)
• HiMODE: A Hybrid Monocular Omnidirectional Depth Estimation Model [3.5290359800552946]
  HiMODE は CNN+ Transformer アーキテクチャに基づく新しい単分子全方位深度推定モデルである。 360deg単分子深度推定において,HiMODEは最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-04-11T11:11:43Z)
• Unsupervised Single-shot Depth Estimation using Perceptual Reconstruction [0.0]
  この研究は、生成ニューラルネットワークの分野における最新の進歩を示し、それらを活用して完全に教師なしの単発深度合成を行う。 RGB-to-deepthとdeep-to-RGB転送用の2つのジェネレータを実装し,Wasserstein-1距離と新しい知覚再構成項を用いて同時に最適化した。 本研究で得られた成果は、実世界のアプリケーションにおいて、教師なし単発深度推定の大きな可能性を示している。
  論文  参考訳（メタデータ） (2022-01-28T15:11:34Z)
• Sparse Depth Completion with Semantic Mesh Deformation Optimization [4.03103540543081]
  本稿では、RGB画像とスパース深度サンプルを入力とし、完全な深度マップを予測し、最適化後のニューラルネットワークを提案する。 評価結果は,屋内および屋外両方のデータセットにおいて,既存の成果を一貫して上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-10T13:01:06Z)
• NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor Multi-view Stereo [97.07453889070574]
  本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。 提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-09-02T17:54:31Z)
• Unsupervised Learning of 3D Object Categories from Videos in the Wild [75.09720013151247]
  オブジェクトインスタンスの大規模なコレクションの複数のビューからモデルを学ぶことに重点を置いています。 再構成を大幅に改善するワープコンディショニングレイ埋め込み(WCR)と呼ばれる新しいニューラルネットワーク設計を提案する。 本評価は,既存のベンチマークを用いた複数の深部単眼再構成ベースラインに対する性能改善を示す。
  論文  参考訳（メタデータ） (2021-03-30T17:57:01Z)
• Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
  コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。 最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。 しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。 本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
  論文  参考訳（メタデータ） (2021-01-18T03:24:48Z)
• Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
  一つのビデオから多視点深度を推定する新しい手法を提案する。 提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。 最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-26T04:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。