論文の概要: Single-view Neural Radiance Fields with Depth Teacher

• arxiv url: http://arxiv.org/abs/2303.09952v2
• Date: Thu, 11 May 2023 12:35:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-12 17:51:05.824278
• Title: Single-view Neural Radiance Fields with Depth Teacher
• Title（参考訳）: 深度教師による単眼神経放射野
• Authors: Yurui Chen, Chun Gu, Feihu Zhang, Li Zhang
• Abstract要約: 我々は1つの画像のみを入力として、新しいビュー合成のための新しいNeRFモデルを開発した。 本稿では,より高精細なボリュームレンダリングと(粗い)平面レンダリングを組み合わせることで,より高精細なレンダリング品質とより優れた一般化を実現することを提案する。
• 参考スコア（独自算出の注目度）: 10.207824869802314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) have been proposed for photorealistic novel view rendering. However, it requires many different views of one scene for training. Moreover, it has poor generalizations to new scenes and requires retraining or fine-tuning on each scene. In this paper, we develop a new NeRF model for novel view synthesis using only a single image as input. We propose to combine the (coarse) planar rendering and the (fine) volume rendering to achieve higher rendering quality and better generalizations. We also design a depth teacher net that predicts dense pseudo depth maps to supervise the joint rendering mechanism and boost the learning of consistent 3D geometry. We evaluate our method on three challenging datasets. It outperforms state-of-the-art single-view NeRFs by achieving 5$\sim$20\% improvements in PSNR and reducing 20$\sim$50\% of the errors in the depth rendering. It also shows excellent generalization abilities to unseen data without the need to fine-tune on each new scene.
• Abstract（参考訳）: ニューラルレージアンス場 (NeRF) はフォトリアリスティックな新しいビューレンダリングのために提案されている。 しかし、トレーニングには複数の異なるシーンのビューが必要である。 また、新しい場面への一般化が乏しく、各シーンの調整や微調整も必要である。 本稿では,単一画像のみを入力として,新しいビュー合成のための新しいNeRFモデルを開発する。 本稿では,平面レンダリングとボリュームレンダリング(細かな)を組み合わせて,高いレンダリング品質とより良い一般化を実現することを提案する。 また,統合レンダリング機構を監督し,一貫した3次元幾何学の学習を促進するために,密集した擬似深度マップを予測する深度教師ネットを設計する。 提案手法を3つの挑戦的データセットで評価する。 PSNRの5$\sim$20\%の改善と、深度レンダリングにおけるエラーの20$\sim$50\%削減によって、最先端のシングルビューNeRFよりも優れています。 また、新しいシーンごとに微調整することなく、データを見落とせる優れた一般化能力を示す。

関連論文リスト

• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• 3D Reconstruction with Generalizable Neural Fields using Scene Priors [71.37871576124789]
  シーンプライオリティ(NFP)を取り入れたトレーニング一般化型ニューラルフィールドを提案する。 NFPネットワークは、任意のシングルビューRGB-D画像を符号付き距離と放射値にマッピングする。 融合モジュールを外した体積空間内の個々のフレームをマージすることにより、完全なシーンを再構築することができる。
  論文  参考訳（メタデータ） (2023-09-26T18:01:02Z)
• SimpleNeRF: Regularizing Sparse Input Neural Radiance Fields with Simpler Solutions [6.9980855647933655]
  NeRFによって推定される深さの監視は、より少ないビューで効果的にトレーニングするのに役立つ。 我々は、位置エンコーディングとビュー依存放射能の役割を探求することによって、より単純な解決を促進する拡張モデルの設計を行う。 上記の正規化を用いて、2つの一般的なデータセット上での最先端のビュー合成性能を実現する。
  論文  参考訳（メタデータ） (2023-09-07T18:02:57Z)
• SCADE: NeRFs from Space Carving with Ambiguity-Aware Depth Estimates [16.344734292989504]
  SCADEは、スパースで制約のない入力ビューにおけるNeRF再構成品質を改善する新しい技術である。 本研究では,各視点に対して,深度推定の連続的マルチモーダル分布を予測する新しい手法を提案する。 実験により,本手法はスパースビューから高忠実度ノベルビューの合成を可能にすることが示された。
  論文  参考訳（メタデータ） (2023-03-23T18:00:07Z)
• X-NeRF: Explicit Neural Radiance Field for Multi-Scene 360$^{\circ} $ Insufficient RGB-D Views [49.55319833743988]
  この記事では、まれに議論されるが重要な設定に焦点を当てる。複数のシーンを表現可能な1つのモデルをトレーニングできるだろうか? 不十分な見解は、非常に疎外で、ほとんど重複しない見解に言及する。 X-NeRFは,座標に基づくマッピングではなく,一般的なシーン完了過程を学習する,完全に明示的なアプローチである。
  論文  参考訳（メタデータ） (2022-10-11T04:29:26Z)
• SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single Image [85.43496313628943]
  本稿では,一眼レフ(SinNeRF)フレームワークについて述べる。 SinNeRFは半教師付き学習プロセスを構築し,幾何学的擬似ラベルを導入・伝播する。 NeRF合成データセット、Local Light Field Fusionデータセット、DTUデータセットなど、複雑なシーンベンチマークで実験が行われる。
  論文  参考訳（メタデータ） (2022-04-02T19:32:42Z)
• Neural Rays for Occlusion-aware Image-based Rendering [108.34004858785896]
  我々は,ニューラルレイ(NeuRay)と呼ばれるニューラル表現を,マルチビューイメージを入力として,新しいビュー合成(NVS)タスクのために提案する。 NeuRayは、微調整の少ない未確認シーンの高品質なノベルビューレンダリング画像を生成することができる。
  論文  参考訳（メタデータ） (2021-07-28T15:09:40Z)
• Stereo Radiance Fields (SRF): Learning View Synthesis for Sparse Views of Novel Scenes [48.0304999503795]
  SRF(Stereo Radiance Fields)は、エンドツーエンドで訓練されたニューラルビュー合成手法である。 SRFは新しいシーンに一般化し、テスト時にスパースビューしか必要としない。 実験の結果、SRFはシーンに過度に収まるのではなく構造を学ぶことがわかった。
  論文  参考訳（メタデータ） (2021-04-14T15:38:57Z)
• pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
  pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。 本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。 いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-12-03T18:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。