論文の概要: 3D Reconstruction with Generalizable Neural Fields using Scene Priors

• arxiv url: http://arxiv.org/abs/2309.15164v1
• Date: Tue, 26 Sep 2023 18:01:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-28 18:20:17.928776
• Title: 3D Reconstruction with Generalizable Neural Fields using Scene Priors
• Title（参考訳）: シーンプリエントを用いた一般化ニューラルネットワークによる3次元再構成
• Authors: Yang Fu, Shalini De Mello, Xueting Li, Amey Kulkarni, Jan Kautz, Xiaolong Wang, Sifei Liu
• Abstract要約: シーンプライオリティ(NFP)を取り入れたトレーニング一般化型ニューラルフィールドを提案する。 NFPネットワークは、任意のシングルビューRGB-D画像を符号付き距離と放射値にマッピングする。 融合モジュールを外した体積空間内の個々のフレームをマージすることにより、完全なシーンを再構築することができる。
• 参考スコア（独自算出の注目度）: 71.37871576124789
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-fidelity 3D scene reconstruction has been substantially advanced by recent progress in neural fields. However, most existing methods train a separate network from scratch for each individual scene. This is not scalable, inefficient, and unable to yield good results given limited views. While learning-based multi-view stereo methods alleviate this issue to some extent, their multi-view setting makes it less flexible to scale up and to broad applications. Instead, we introduce training generalizable Neural Fields incorporating scene Priors (NFPs). The NFP network maps any single-view RGB-D image into signed distance and radiance values. A complete scene can be reconstructed by merging individual frames in the volumetric space WITHOUT a fusion module, which provides better flexibility. The scene priors can be trained on large-scale datasets, allowing for fast adaptation to the reconstruction of a new scene with fewer views. NFP not only demonstrates SOTA scene reconstruction performance and efficiency, but it also supports single-image novel-view synthesis, which is underexplored in neural fields. More qualitative results are available at: https://oasisyang.github.io/neural-prior
• Abstract（参考訳）: 高忠実度3Dシーン再構成は、近年の神経磁場の進展により大幅に進歩している。 しかし、既存のほとんどのメソッドは個々のシーンごとに別のネットワークをスクラッチからトレーニングする。 これはスケーラビリティがなく、非効率で、限られたビューで良い結果を得ることができない。 学習ベースのマルチビューステレオメソッドは、この問題をある程度緩和するが、マルチビュー設定は、スケールアップや幅広いアプリケーションへの柔軟性を低下させる。 代わりに、シーンプリエント(nfps)を組み込んだトレーニング一般化ニューラルネットワークを導入する。 NFPネットワークは、任意のシングルビューRGB-D画像を符号付き距離と放射値にマッピングする。 完全なシーンは、融合モジュールを外した体積空間の個々のフレームをマージすることで再構築でき、柔軟性が向上する。 シーン先行を大規模なデータセットでトレーニングすることで、ビューの少ない新しいシーンの再構築を迅速に行うことができる。 NFPは、SOTAシーンの再構成性能と効率を実証するだけでなく、ニューラルネットワークで過小評価されている単一画像のノベルビュー合成もサポートする。 より質的な結果が、https://oasisyang.github.io/neural-prior.comで公開されている。

関連論文リスト

• Single-view Neural Radiance Fields with Depth Teacher [10.207824869802314]
  我々は1つの画像のみを入力として、新しいビュー合成のための新しいNeRFモデルを開発した。 本稿では,より高精細なボリュームレンダリングと(粗い)平面レンダリングを組み合わせることで,より高精細なレンダリング品質とより優れた一般化を実現することを提案する。
  論文  参考訳（メタデータ） (2023-03-17T13:19:25Z)
• SceneRF: Self-Supervised Monocular 3D Scene Reconstruction with Radiance Fields [19.740018132105757]
  SceneRFは、画像列のみを用いた自己教師付き単眼シーン再構築法である。 推測において、単一の入力画像は、融合した新しい深度ビューを幻覚させ、3Dシーンの再構成を得るのに十分である。
  論文  参考訳（メタデータ） (2022-12-05T18:59:57Z)
• X-NeRF: Explicit Neural Radiance Field for Multi-Scene 360$^{\circ} $ Insufficient RGB-D Views [49.55319833743988]
  この記事では、まれに議論されるが重要な設定に焦点を当てる。複数のシーンを表現可能な1つのモデルをトレーニングできるだろうか? 不十分な見解は、非常に疎外で、ほとんど重複しない見解に言及する。 X-NeRFは,座標に基づくマッピングではなく,一般的なシーン完了過程を学習する,完全に明示的なアプローチである。
  論文  参考訳（メタデータ） (2022-10-11T04:29:26Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• NeuralMVS: Bridging Multi-View Stereo and Novel View Synthesis [28.83180559337126]
  本稿では,高解像度カラー画像とともに,距離関数として3次元シーン形状を復元できる新しいネットワークを提案する。 提案手法では,スパース画像のみを入力として使用し,新規なシーンによく対応できる。
  論文  参考訳（メタデータ） (2021-08-09T08:59:24Z)
• Neural Rays for Occlusion-aware Image-based Rendering [108.34004858785896]
  我々は,ニューラルレイ(NeuRay)と呼ばれるニューラル表現を,マルチビューイメージを入力として,新しいビュー合成(NVS)タスクのために提案する。 NeuRayは、微調整の少ない未確認シーンの高品質なノベルビューレンダリング画像を生成することができる。
  論文  参考訳（メタデータ） (2021-07-28T15:09:40Z)
• Stereo Radiance Fields (SRF): Learning View Synthesis for Sparse Views of Novel Scenes [48.0304999503795]
  SRF(Stereo Radiance Fields)は、エンドツーエンドで訓練されたニューラルビュー合成手法である。 SRFは新しいシーンに一般化し、テスト時にスパースビューしか必要としない。 実験の結果、SRFはシーンに過度に収まるのではなく構造を学ぶことがわかった。
  論文  参考訳（メタデータ） (2021-04-14T15:38:57Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)
• pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
  pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。 本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。 いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-12-03T18:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。