論文の概要: Depth-supervised NeRF: Fewer Views and Faster Training for Free

• arxiv url: http://arxiv.org/abs/2107.02791v3
• Date: Thu, 17 Oct 2024 16:11:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 02:45:21.874420
• Title: Depth-supervised NeRF: Fewer Views and Faster Training for Free
• Title（参考訳）: 深度制御型NeRF:低ビューと高速なフリートレーニング
• Authors: Kangle Deng, Andrew Liu, Jun-Yan Zhu, Deva Ramanan,
• Abstract要約: DS-NeRF (Depth-supervised Neural Radiance Fields) は、容易に利用できる深度監視を利用する学習分野の損失である。 我々の損失は他のNeRF法と互換性があることを示し、深度は安価で消化し易い監視信号であることを示した。
• 参考スコア（独自算出の注目度）: 69.34556647743285
• License:
• Abstract: A commonly observed failure mode of Neural Radiance Field (NeRF) is fitting incorrect geometries when given an insufficient number of input views. One potential reason is that standard volumetric rendering does not enforce the constraint that most of a scene's geometry consist of empty space and opaque surfaces. We formalize the above assumption through DS-NeRF (Depth-supervised Neural Radiance Fields), a loss for learning radiance fields that takes advantage of readily-available depth supervision. We leverage the fact that current NeRF pipelines require images with known camera poses that are typically estimated by running structure-from-motion (SFM). Crucially, SFM also produces sparse 3D points that can be used as "free" depth supervision during training: we add a loss to encourage the distribution of a ray's terminating depth matches a given 3D keypoint, incorporating depth uncertainty. DS-NeRF can render better images given fewer training views while training 2-3x faster. Further, we show that our loss is compatible with other recently proposed NeRF methods, demonstrating that depth is a cheap and easily digestible supervisory signal. And finally, we find that DS-NeRF can support other types of depth supervision such as scanned depth sensors and RGB-D reconstruction outputs.
• Abstract（参考訳）: ニューラルレージアンスフィールド(NeRF)の一般的な故障モードは、入力ビューが不十分な場合に不正確なジオメトリを適合させる。 一つの潜在的な理由は、標準的なボリュームレンダリングは、シーンの幾何学の大部分が空空間と不透明な表面で構成されているという制約を強制しないからである。 本稿では,DS-NeRF(Depth-supervised Neural Radiance Fields)を用いて,この仮定を定式化した。 我々は、現在のNeRFパイプラインは、一般的にSFM(Structure-from-motion)によって推定される既知のカメラポーズの画像を必要とするという事実を活用する。 重要なことに、SFMはトレーニング中に「自由」な深度監視として使用できるスパース3Dポイントも生成します。 DS-NeRFは、トレーニングを2～3倍高速化しながら、トレーニングビューを少なくすることで、より良い画像をレンダリングできる。 さらに,最近提案した他のNeRF法と互換性があることを示し,深度は安価で消化し易い監視信号であることを示した。 そして最後に,DS-NeRFは走査深度センサやRGB-D再構成出力など,他の種類の深度監視をサポートできることがわかった。

関連論文リスト

• Depth-guided NeRF Training via Earth Mover's Distance [0.6749750044497732]
  我々は、NeRF監視のための深度における不確実性に対する新しいアプローチを提案する。 既訓練拡散モデルを用いて,デノナイジング過程における深度予測と不確かさの把握を行う。 我々の深度誘導型NeRFは、標準深度測定値のすべてのベースラインを大きなマージンで上回る。
  論文  参考訳（メタデータ） (2024-03-19T23:54:07Z)
• NeRF-Det++: Incorporating Semantic Cues and Perspective-aware Depth Supervision for Indoor Multi-View 3D Detection [72.0098999512727]
  NeRF-Detは、NeRFを用いた屋内マルチビュー3次元検出において、表現学習の強化による優れた性能を実現している。 セマンティックエンハンスメント(セマンティックエンハンスメント)、パースペクティブ・アウェア・サンプリング(パースペクティブ・アウェア・サンプリング)、および順序深度監視を含む3つのソリューションを提案する。 結果として得られたアルゴリズムであるNeRF-Det++は、ScanNetV2とAR KITScenesデータセットで魅力的なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-02-22T11:48:06Z)
• SimpleNeRF: Regularizing Sparse Input Neural Radiance Fields with Simpler Solutions [6.9980855647933655]
  NeRFによって推定される深さの監視は、より少ないビューで効果的にトレーニングするのに役立つ。 我々は、位置エンコーディングとビュー依存放射能の役割を探求することによって、より単純な解決を促進する拡張モデルの設計を行う。 上記の正規化を用いて、2つの一般的なデータセット上での最先端のビュー合成性能を実現する。
  論文  参考訳（メタデータ） (2023-09-07T18:02:57Z)
• ViP-NeRF: Visibility Prior for Sparse Input Neural Radiance Fields [9.67057831710618]
  スパース入力ビューにおけるニューラルレイディアンス場(NeRF)のトレーニングは、過度な適合と不正確なシーン深さ推定につながる。 我々は、NeRFを再構成して、与えられた視点から3Dポイントの可視性を直接出力し、可視性制約でトレーニング時間を短縮する。 我々のモデルは、学習した先行データを含む、競合するスパース入力のNeRFモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-04-28T18:26:23Z)
• SparseNeRF: Distilling Depth Ranking for Few-shot Novel View Synthesis [93.46963803030935]
  実世界の不正確な観測から奥行きの先行情報を利用する新しいスパースビューNeRF(Sparse-view NeRF)フレームワークを提案する。 局所パッチの粗い深度マップとNeRFの予測深度ランキングが一致するように, 局所深度ランキング法である簡易で効果的な制約を提案する。 また、Azure Kinect、ZED 2、iPhone 13 Proの実際の深度マップを含む新しいデータセットNVS-RGBDも収集しています。
  論文  参考訳（メタデータ） (2023-03-28T17:58:05Z)
• Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
  本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
  論文  参考訳（メタデータ） (2023-03-26T12:24:31Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。