論文の概要: SparseNeRF: Distilling Depth Ranking for Few-shot Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2303.16196v2
• Date: Sun, 13 Aug 2023 09:35:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 21:55:41.366818
• Title: SparseNeRF: Distilling Depth Ranking for Few-shot Novel View Synthesis
• Title（参考訳）: SparseNeRF:新しい視点合成のための深度ランク付け
• Authors: Guangcong Wang and Zhaoxi Chen and Chen Change Loy and Ziwei Liu
• Abstract要約: 実世界の不正確な観測から奥行きの先行情報を利用する新しいスパースビューNeRF(Sparse-view NeRF)フレームワークを提案する。 局所パッチの粗い深度マップとNeRFの予測深度ランキングが一致するように, 局所深度ランキング法である簡易で効果的な制約を提案する。 また、Azure Kinect、ZED 2、iPhone 13 Proの実際の深度マップを含む新しいデータセットNVS-RGBDも収集しています。
• 参考スコア（独自算出の注目度）: 93.46963803030935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Field (NeRF) significantly degrades when only a limited number of views are available. To complement the lack of 3D information, depth-based models, such as DSNeRF and MonoSDF, explicitly assume the availability of accurate depth maps of multiple views. They linearly scale the accurate depth maps as supervision to guide the predicted depth of few-shot NeRFs. However, accurate depth maps are difficult and expensive to capture due to wide-range depth distances in the wild. In this work, we present a new Sparse-view NeRF (SparseNeRF) framework that exploits depth priors from real-world inaccurate observations. The inaccurate depth observations are either from pre-trained depth models or coarse depth maps of consumer-level depth sensors. Since coarse depth maps are not strictly scaled to the ground-truth depth maps, we propose a simple yet effective constraint, a local depth ranking method, on NeRFs such that the expected depth ranking of the NeRF is consistent with that of the coarse depth maps in local patches. To preserve the spatial continuity of the estimated depth of NeRF, we further propose a spatial continuity constraint to encourage the consistency of the expected depth continuity of NeRF with coarse depth maps. Surprisingly, with simple depth ranking constraints, SparseNeRF outperforms all state-of-the-art few-shot NeRF methods (including depth-based models) on standard LLFF and DTU datasets. Moreover, we collect a new dataset NVS-RGBD that contains real-world depth maps from Azure Kinect, ZED 2, and iPhone 13 Pro. Extensive experiments on NVS-RGBD dataset also validate the superiority and generalizability of SparseNeRF. Code and dataset are available at https://sparsenerf.github.io/.
• Abstract（参考訳）: ニューラルレージアンスフィールド(NeRF)は、限られた数のビューしか利用できない場合、著しく劣化する。 3D情報の欠如を補うため、DSNeRFやMonoSDFのような深度モデルでは、複数のビューの正確な深度マップが利用可能であると明確に仮定している。 彼らは数発のNeRFの予測深度を導くために、正確な深度マップを監督として線形にスケールする。 しかし、正確な深度マップは野生の広範囲の深度距離のため、撮影が困難で高価である。 本研究では,実世界の不正確な観測から深度を推定する新しいスパースビューNeRF(Sparse-view NeRF)フレームワークを提案する。 不正確な深度観測は、事前訓練された深度モデルまたは消費者レベルの深度センサーの粗い深度マップからである。 粗深さマップは, 地中深さマップに対して厳密にスケールされていないので, 局地深さマップと一致するように, nerf上での局所深さランキング法を, 単純かつ効果的な制約として提案する。 推定したNeRFの深さの空間的連続性を維持するため,我々はさらに空間的連続性制約を提案し,NeRFの予測深度連続性と粗い深度マップとの整合性を促進する。 驚くべきことに、単純な深さランキングの制約により、sparsenerfは標準のllffおよびdtuデータセットの最先端のnrfメソッド(深度ベースモデルを含む)を上回っている。 さらに、Azure Kinect、ZED 2、iPhone 13 Proから現実世界の深度マップを含む新しいデータセットNVS-RGBDを収集します。 NVS-RGBDデータセットに関する大規模な実験は、スパースNeRFの優位性と一般化性についても検証した。 コードとデータセットはhttps://sparsenerf.github.io/で入手できる。

関連論文リスト

• SteeredMarigold: Steering Diffusion Towards Depth Completion of Largely Incomplete Depth Maps [3.399289369740637]
  SteeredMarigold は訓練なし、ゼロショット深度補完法である。 これは、大半不完全深度写像であっても、メートル法的な密度深度を生成する。 私たちのコードは公開されます。
  論文  参考訳（メタデータ） (2024-09-16T11:52:13Z)
• NeRF-Det++: Incorporating Semantic Cues and Perspective-aware Depth Supervision for Indoor Multi-View 3D Detection [72.0098999512727]
  NeRF-Detは、NeRFを用いた屋内マルチビュー3次元検出において、表現学習の強化による優れた性能を実現している。 セマンティックエンハンスメント(セマンティックエンハンスメント)、パースペクティブ・アウェア・サンプリング(パースペクティブ・アウェア・サンプリング)、および順序深度監視を含む3つのソリューションを提案する。 結果として得られたアルゴリズムであるNeRF-Det++は、ScanNetV2とAR KITScenesデータセットで魅力的なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-02-22T11:48:06Z)
• SimpleNeRF: Regularizing Sparse Input Neural Radiance Fields with Simpler Solutions [6.9980855647933655]
  NeRFによって推定される深さの監視は、より少ないビューで効果的にトレーニングするのに役立つ。 我々は、位置エンコーディングとビュー依存放射能の役割を探求することによって、より単純な解決を促進する拡張モデルの設計を行う。 上記の正規化を用いて、2つの一般的なデータセット上での最先端のビュー合成性能を実現する。
  論文  参考訳（メタデータ） (2023-09-07T18:02:57Z)
• Mind The Edge: Refining Depth Edges in Sparsely-Supervised Monocular Depth Estimation [42.19770683222846]
  単眼深度推定(MDE)はコンピュータビジョンの基本的な問題であり、多くの応用がある。 本稿では,密集した合成データから深度エッジの位置を検出することを提案する。 いくつかの挑戦的データセットに対して,画素ごとの深度精度を比較検討することにより,深度エッジの精度が著しく向上したことを示す。
  論文  参考訳（メタデータ） (2022-12-10T14:49:24Z)
• SparseFormer: Attention-based Depth Completion Network [2.9434930072968584]
  SparseFormerというトランスフォーマーブロックを導入し、3Dランドマークと深い視覚的特徴を融合して深い深度を作り出す。 SparseFormerはグローバルな受容場を持ち、低密度で一様でないランドマークを持つディープコンプリートに特に有効である。 3Dランドマーク間の奥行き外乱の問題に対処するため,スパースランドマーク間の注意を通して外乱をフィルタリングするトレーニング可能なリファインメントモジュールを導入する。
  論文  参考訳（メタデータ） (2022-06-09T15:08:24Z)
• DnD: Dense Depth Estimation in Crowded Dynamic Indoor Scenes [68.38952377590499]
  複雑な屋内環境の中を移動する単眼カメラから奥行きを推定するための新しい手法を提案する。 提案手法は,静的な背景と複数の移動する人物からなるシーン全体にわたる絶対規模の深度マップを推定する。
  論文  参考訳（メタデータ） (2021-08-12T09:12:39Z)
• Depth-supervised NeRF: Fewer Views and Faster Training for Free [69.34556647743285]
  DS-NeRF (Depth-supervised Neural Radiance Fields) は、容易に利用できる深度監視を利用する学習分野の損失である。 我々の損失は他のNeRF法と互換性があることを示し、深度は安価で消化し易い監視信号であることを示した。
  論文  参考訳（メタデータ） (2021-07-06T17:58:35Z)
• Towards Fast and Accurate Real-World Depth Super-Resolution: Benchmark Dataset and Baseline [48.69396457721544]
  深度写像スーパーリゾリューション(SR)の研究を促進するために,RGB-D-Dという大規模データセットを構築した。 本稿では、RGB画像から高周波成分を適応的に分解して深度マップSRを導出する高速深度マップ超解像(FDSR)ベースラインを提供する。 実世界のLR深度マップでは、より明確な境界を持つより正確なHR深度マップを作成でき、ある程度の精度で深度値誤差を補正できる。
  論文  参考訳（メタデータ） (2021-04-13T13:27:26Z)
• Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
  カラービデオから多フレーム深度を推定する新しい学習手法を提案する。 本手法は深度推定精度において最先端の手法より優れる。
  論文  参考訳（メタデータ） (2020-04-02T07:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。