論文の概要: Depth-supervised NeRF: Fewer Views and Faster Training for Free

• arxiv url: http://arxiv.org/abs/2107.02791v1
• Date: Tue, 6 Jul 2021 17:58:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-07 14:39:18.014623
• Title: Depth-supervised NeRF: Fewer Views and Faster Training for Free
• Title（参考訳）: 深度制御型NeRF:低ビューと高速なフリートレーニング
• Authors: Kangle Deng, Andrew Liu, Jun-Yan Zhu, and Deva Ramanan
• Abstract要約: DS-NeRF(DS-NeRF)は、容易に利用可能な深度監視の利点を生かした神経放射場学習の損失である。 DS-NeRFはトレーニングを2～6倍高速化しながら、トレーニングビューを少なくすることで、より正確な画像をレンダリングできることがわかった。
• 参考スコア（独自算出の注目度）: 66.16386801362643
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One common failure mode of Neural Radiance Field (NeRF) models is fitting incorrect geometries when given an insufficient number of input views. We propose DS-NeRF (Depth-supervised Neural Radiance Fields), a loss for learning neural radiance fields that takes advantage of readily-available depth supervision. Our key insight is that sparse depth supervision can be used to regularize the learned geometry, a crucial component for effectively rendering novel views using NeRF. We exploit the fact that current NeRF pipelines require images with known camera poses that are typically estimated by running structure-from-motion (SFM). Crucially, SFM also produces sparse 3D points that can be used as ``free" depth supervision during training: we simply add a loss to ensure that depth rendered along rays that intersect these 3D points is close to the observed depth. We find that DS-NeRF can render more accurate images given fewer training views while training 2-6x faster. With only two training views on real-world images, DS-NeRF significantly outperforms NeRF as well as other sparse-view variants. We show that our loss is compatible with these NeRF models, demonstrating that depth is a cheap and easily digestible supervisory signal. Finally, we show that DS-NeRF supports other types of depth supervision such as scanned depth sensors and RGBD reconstruction outputs.
• Abstract（参考訳）: ニューラルレーシアンスフィールド(NeRF)モデルの一般的な障害モードは、入力ビューが不十分な場合に不正確なジオメトリを適合させることである。 本稿では,容易に利用できる深度監視を生かした神経放射場学習のためのDS-NeRF(deepth-supervised Neural Radiance Fields)を提案する。 我々の重要な洞察は、学習した幾何を規則化するためにスパース奥行き監視(sparse depth surveillance)が使用できることである。 現状のnerfパイプラインでは、一般的にsfm(structure-from-motion)によって推定される既知のカメラポーズの画像が必要である。 私たちは単に、これらの3dポイントを交差する光線に沿ってレンダリングされた深さが観測された深さに近いことを保証するために損失を追加するだけです。 DS-NeRFはトレーニングの2～6倍の速さで、より正確な画像をレンダリングできることがわかった。 実世界のイメージのトレーニングビューは2つしかなく、DS-NeRFはNeRFと他のスパースビューの亜種を著しく上回っている。 我々の損失はこれらのNeRFモデルと互換性があることを示し、深度は安価で消化しやすい監視信号であることを示した。 最後に,DS-NeRFは走査型深度センサやRGBD再構成出力など,他の種類の深度監視をサポートすることを示す。

関連論文リスト

• Depth-guided NeRF Training via Earth Mover's Distance [0.6749750044497732]
  我々は、NeRF監視のための深度における不確実性に対する新しいアプローチを提案する。 既訓練拡散モデルを用いて,デノナイジング過程における深度予測と不確かさの把握を行う。 我々の深度誘導型NeRFは、標準深度測定値のすべてのベースラインを大きなマージンで上回る。
  論文  参考訳（メタデータ） (2024-03-19T23:54:07Z)
• NeRF-Det++: Incorporating Semantic Cues and Perspective-aware Depth Supervision for Indoor Multi-View 3D Detection [72.0098999512727]
  NeRF-Detは、NeRFを用いた屋内マルチビュー3次元検出において、表現学習の強化による優れた性能を実現している。 セマンティックエンハンスメント(セマンティックエンハンスメント)、パースペクティブ・アウェア・サンプリング(パースペクティブ・アウェア・サンプリング)、および順序深度監視を含む3つのソリューションを提案する。 結果として得られたアルゴリズムであるNeRF-Det++は、ScanNetV2とAR KITScenesデータセットで魅力的なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-02-22T11:48:06Z)
• SimpleNeRF: Regularizing Sparse Input Neural Radiance Fields with Simpler Solutions [6.9980855647933655]
  NeRFによって推定される深さの監視は、より少ないビューで効果的にトレーニングするのに役立つ。 我々は、位置エンコーディングとビュー依存放射能の役割を探求することによって、より単純な解決を促進する拡張モデルの設計を行う。 上記の正規化を用いて、2つの一般的なデータセット上での最先端のビュー合成性能を実現する。
  論文  参考訳（メタデータ） (2023-09-07T18:02:57Z)
• ViP-NeRF: Visibility Prior for Sparse Input Neural Radiance Fields [9.67057831710618]
  スパース入力ビューにおけるニューラルレイディアンス場(NeRF)のトレーニングは、過度な適合と不正確なシーン深さ推定につながる。 我々は、NeRFを再構成して、与えられた視点から3Dポイントの可視性を直接出力し、可視性制約でトレーニング時間を短縮する。 我々のモデルは、学習した先行データを含む、競合するスパース入力のNeRFモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-04-28T18:26:23Z)
• SparseNeRF: Distilling Depth Ranking for Few-shot Novel View Synthesis [93.46963803030935]
  実世界の不正確な観測から奥行きの先行情報を利用する新しいスパースビューNeRF(Sparse-view NeRF)フレームワークを提案する。 局所パッチの粗い深度マップとNeRFの予測深度ランキングが一致するように, 局所深度ランキング法である簡易で効果的な制約を提案する。 また、Azure Kinect、ZED 2、iPhone 13 Proの実際の深度マップを含む新しいデータセットNVS-RGBDも収集しています。
  論文  参考訳（メタデータ） (2023-03-28T17:58:05Z)
• Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
  本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
  論文  参考訳（メタデータ） (2023-03-26T12:24:31Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。