論文の概要: Depth Priors in Removal Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2405.00630v1
• Date: Wed, 1 May 2024 16:55:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 15:07:37.612646
• Title: Depth Priors in Removal Neural Radiance Fields
• Title（参考訳）: 神経放射場除去における深さ先行
• Authors: Zhihao Guo, Peng Wang,
• Abstract要約: NeRF(Neural Radiance Fields)における重要な課題は、オブジェクト削除などの再構成シーンの編集である。 従来の研究は、通常LiDARやスパース深度測定から、NeRFにおける物体除去性能を改善するために、深度事前を組み込んできた。 単分子深度推定とNeRFに基づく物体除去モデルを統合する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 3.935427742243637
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Radiance Fields (NeRF) have shown impressive results in 3D reconstruction and generating novel views. A key challenge within NeRF is the editing of reconstructed scenes, such as object removal, which requires maintaining consistency across multiple views and ensuring high-quality synthesised perspectives. Previous studies have incorporated depth priors, typically from LiDAR or sparse depth measurements provided by COLMAP, to improve the performance of object removal in NeRF. However, these methods are either costly or time-consuming. In this paper, we propose a novel approach that integrates monocular depth estimates with NeRF-based object removal models to significantly reduce time consumption and enhance the robustness and quality of scene generation and object removal. We conducted a thorough evaluation of COLMAP's dense depth reconstruction on the KITTI dataset to verify its accuracy in depth map generation. Our findings suggest that COLMAP can serve as an effective alternative to a ground truth depth map where such information is missing or costly to obtain. Additionally, we integrated various monocular depth estimation methods into the removal NeRF model, i.e., SpinNeRF, to assess their capacity to improve object removal performance. Our experimental results highlight the potential of monocular depth estimation to substantially improve NeRF applications.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は3次元再構成と新しいビューの生成において顕著な結果を示した。 NeRFにおける重要な課題は、オブジェクトの削除のような再構成されたシーンの編集である。 従来の研究は、通常、LiDARやCOLMAPが提供するスパース深度測定から、NeRFにおける物体除去性能を改善するために、深度事前を組み込んできた。 しかし、これらの手法は費用がかかるか時間がかかるかのいずれかである。 本論文では,モノラル深度推定をNeRFを用いた物体除去モデルと統合し,時間消費を大幅に削減し,シーン生成と物体除去の堅牢性と品質を高める手法を提案する。 我々は,深度マップ生成における精度を検証するため,KITTIデータセット上でのCOLMAPの深度深度再構成の徹底的な評価を行った。 以上の結果から,COLMAPは,情報不足や入手に費用がかかる地底真理深度マップの代替として有効である可能性が示唆された。 さらに, 物体除去性能を向上させるために, 各種単分子深度推定法をSpinNeRFモデルに組み込んだ。 実験の結果,NeRFの適用性を大幅に向上させる単分子深度推定の可能性を強調した。

関連論文リスト

• Uncertainty-guided Optimal Transport in Depth Supervised Sparse-View 3D Gaussian [49.21866794516328]
  3次元ガウシアンスプラッティングは、リアルタイムな新規ビュー合成において顕著な性能を示した。 これまでのアプローチでは、3Dガウスの訓練に奥行き監視を取り入れ、オーバーフィッティングを軽減してきた。 本研究では,3次元ガウスの深度分布を可視化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:18:30Z)
• Neural Poisson Surface Reconstruction: Resolution-Agnostic Shape Reconstruction from Point Clouds [53.02191521770926]
  我々は,3次元形状を点から復元するという課題に対処する形状再構成アーキテクチャであるニューラルポアソン表面再構成(nPSR)を導入する。 nPSRには2つの大きな利点がある: まず、高分解能評価において同等の性能を達成しつつ、低分解能データの効率的なトレーニングを可能にする。 全体として、ニューラル・ポアソン表面の再構成は、形状再構成における古典的なディープニューラルネットワークの限界を改良するだけでなく、再構築品質、走行時間、分解能非依存の観点からも優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-08-03T13:56:07Z)
• Incremental Dense Reconstruction from Monocular Video with Guided Sparse Feature Volume Fusion [23.984073189849024]
  本報告では, TSDF値のリアルタイムな特徴量に基づく高密度再構成手法を提案し, 新たな深部特徴量からTSDF値を推定する。 不確実性を認識したマルチビューステレオネットワークを利用して、スパース特徴量における物理表面の初期ボクセル位置を推定する。 提案手法は,多くの場合において,より細部でより完全な再構築が可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-24T09:06:01Z)
• HiMODE: A Hybrid Monocular Omnidirectional Depth Estimation Model [3.5290359800552946]
  HiMODE は CNN+ Transformer アーキテクチャに基づく新しい単分子全方位深度推定モデルである。 360deg単分子深度推定において,HiMODEは最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-04-11T11:11:43Z)
• Unsupervised Single-shot Depth Estimation using Perceptual Reconstruction [0.0]
  この研究は、生成ニューラルネットワークの分野における最新の進歩を示し、それらを活用して完全に教師なしの単発深度合成を行う。 RGB-to-deepthとdeep-to-RGB転送用の2つのジェネレータを実装し,Wasserstein-1距離と新しい知覚再構成項を用いて同時に最適化した。 本研究で得られた成果は、実世界のアプリケーションにおいて、教師なし単発深度推定の大きな可能性を示している。
  論文  参考訳（メタデータ） (2022-01-28T15:11:34Z)
• Sparse Depth Completion with Semantic Mesh Deformation Optimization [4.03103540543081]
  本稿では、RGB画像とスパース深度サンプルを入力とし、完全な深度マップを予測し、最適化後のニューラルネットワークを提案する。 評価結果は,屋内および屋外両方のデータセットにおいて,既存の成果を一貫して上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-10T13:01:06Z)
• NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor Multi-view Stereo [97.07453889070574]
  本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。 提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-09-02T17:54:31Z)
• Unsupervised Learning of 3D Object Categories from Videos in the Wild [75.09720013151247]
  オブジェクトインスタンスの大規模なコレクションの複数のビューからモデルを学ぶことに重点を置いています。 再構成を大幅に改善するワープコンディショニングレイ埋め込み(WCR)と呼ばれる新しいニューラルネットワーク設計を提案する。 本評価は,既存のベンチマークを用いた複数の深部単眼再構成ベースラインに対する性能改善を示す。
  論文  参考訳（メタデータ） (2021-03-30T17:57:01Z)
• Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
  コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。 最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。 しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。 本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
  論文  参考訳（メタデータ） (2021-01-18T03:24:48Z)
• Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
  一つのビデオから多視点深度を推定する新しい手法を提案する。 提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。 最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-26T04:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。