論文の概要: NeMI: Unifying Neural Radiance Fields with Multiplane Images for Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2103.14910v1
• Date: Sat, 27 Mar 2021 13:41:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 10:21:58.661938
• Title: NeMI: Unifying Neural Radiance Fields with Multiplane Images for Novel View Synthesis
• Title（参考訳）: NeMI:新しいビュー合成のためのマルチプレーン画像を用いたニューラルラジアンス場の統合
• Authors: Jiaxin Li, Zijian Feng, Qi She, Henghui Ding, Changhu Wang, Gim Hee Lee
• Abstract要約: 単一画像からの高密度3次元再構成による新しいビュー合成と深度推定を行う手法を提案する。 我々のNeMIはマルチプレーン画像(MPI)とニューラル放射場(NeRF)を統一する iBims-1およびNYU-v2の深さ推定でも、注釈付き深度監視なしで競争力のある結果が得られます。
• 参考スコア（独自算出の注目度）: 69.19261797333635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose an approach to perform novel view synthesis and depth estimation via dense 3D reconstruction from a single image. Our NeMI unifies Neural radiance fields (NeRF) with Multiplane Images (MPI). Specifically, our NeMI is a general two-dimensional and image-conditioned extension of NeRF, and a continuous depth generalization of MPI. Given a single image as input, our method predicts a 4-channel image (RGB and volume density) at arbitrary depth values to jointly reconstruct the camera frustum and fill in occluded contents. The reconstructed and inpainted frustum can then be easily rendered into novel RGB or depth views using differentiable rendering. Extensive experiments on RealEstate10K, KITTI and Flowers Light Fields show that our NeMI outperforms state-of-the-art by a large margin in novel view synthesis. We also achieve competitive results in depth estimation on iBims-1 and NYU-v2 without annotated depth supervision. Project page available at https://vincentfung13.github.io/projects/nemi/
• Abstract（参考訳）: 本稿では,1枚の画像から高密度な3次元再構成による新しいビュー合成と深度推定を行う手法を提案する。 我々のNeMIは、ニューラル放射場(NeRF)とマルチプレーン画像(MPI)を統合する。 具体的には、NeMIは、NeRFの一般的な2次元および画像条件拡張であり、MPIの連続深さ一般化である。 入力として1つの画像が与えられた場合、任意の深さ値で4チャンネル画像(RGBと体積密度)を予測し、カメラフラストラムを共同で再構築し、隠蔽された内容を埋める。 再構成および塗布されたフラストムは、微分レンダリングを用いて、新しいRGBや奥行きビューに容易にレンダリングすることができる。 RealEstate10K, KITTI, Flowers Light Fieldsの大規模な実験により、我々のNeMIは、新しいビューの合成において大きなマージンで最先端の性能を発揮することが示された。 また,iBims-1およびNYU-v2の奥行き推定において,注釈付き奥行き監視を伴わずに競合する結果を得た。 Project page available at https://vincentfung13.github.io/ projects/nemi/

関連論文リスト

• Learning Neural Implicit through Volume Rendering with Attentive Depth Fusion Priors [32.63878457242185]
  我々は,多視点RGBD画像からの暗黙的表現を,暗黙的深度融合によるボリュームレンダリングにより学習する。 注意機構は、シーン全体を表す1回溶融TSDFか、部分シーンを表す漸増溶融TSDFで機能する。 合成および実世界のスキャンを含む広く使われているベンチマークの評価は、最新のニューラル暗黙法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-10-17T21:45:51Z)
• SCADE: NeRFs from Space Carving with Ambiguity-Aware Depth Estimates [16.344734292989504]
  SCADEは、スパースで制約のない入力ビューにおけるNeRF再構成品質を改善する新しい技術である。 本研究では,各視点に対して,深度推定の連続的マルチモーダル分布を予測する新しい手法を提案する。 実験により,本手法はスパースビューから高忠実度ノベルビューの合成を可能にすることが示された。
  論文  参考訳（メタデータ） (2023-03-23T18:00:07Z)
• Behind the Scenes: Density Fields for Single View Reconstruction [63.40484647325238]
  単一の画像から有意義な幾何学的シーン表現を推定することは、コンピュータビジョンの根本的な問題である。 本稿では,入力画像のフラストラム内のすべての位置を体積密度にマッピングする。 提案手法は,入力画像に隠された領域に対して有意な幾何を予測できることを示す。
  論文  参考訳（メタデータ） (2023-01-18T17:24:01Z)
• SceneRF: Self-Supervised Monocular 3D Scene Reconstruction with Radiance Fields [19.740018132105757]
  SceneRFは、画像列のみを用いた自己教師付き単眼シーン再構築法である。 推測において、単一の入力画像は、融合した新しい深度ビューを幻覚させ、3Dシーンの再構成を得るのに十分である。
  論文  参考訳（メタデータ） (2022-12-05T18:59:57Z)
• DINER: Depth-aware Image-based NEural Radiance fields [45.63488428831042]
  我々はDINER(Depth-aware Image-based NEural Radiance Field)を提案する。 RGB入力ビューの粗いセットが与えられた場合、シーン表現の再構築を導くために深度と特徴マップを予測する。 特徴融合と効率的なシーンサンプリングに深度情報を組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-29T23:22:44Z)
• One-Shot Neural Fields for 3D Object Understanding [112.32255680399399]
  ロボット工学のための統一的でコンパクトなシーン表現を提案する。 シーン内の各オブジェクトは、幾何学と外観をキャプチャする潜在コードによって描写される。 この表現は、新しいビューレンダリングや3D再構成、安定した把握予測といった様々なタスクのためにデコードできる。
  論文  参考訳（メタデータ） (2022-10-21T17:33:14Z)
• NVS-MonoDepth: Improving Monocular Depth Prediction with Novel View Synthesis [74.4983052902396]
  単眼深度推定を改善するために,3つの主要なステップに分割した新しいトレーニング手法を提案する。 実験により,KITTIおよびNYU-Depth-v2データセット上での最先端ないし同等の性能が得られた。
  論文  参考訳（メタデータ） (2021-12-22T12:21:08Z)
• Dense Depth Priors for Neural Radiance Fields from Sparse Input Views [37.92064060160628]
  そこで本研究では,部屋全体の新しいビューを,桁違いに少ない画像から合成する手法を提案する。 提案手法は,18枚以上の映像をシーン全体に適用して,挑戦的な屋内シーンにおけるデータ効率の高い新規ビュー合成を可能にする。
  論文  参考訳（メタデータ） (2021-12-06T19:00:02Z)
• UNISURF: Unifying Neural Implicit Surfaces and Radiance Fields for Multi-View Reconstruction [61.17219252031391]
  ニューラル暗黙的3D表現を用いた多視点画像から表面を再構築する新しい手法を提案する。 我々の重要な洞察は、暗黙の曲面モデルと放射場を統一的に定式化し、表面および体積のレンダリングを可能にすることである。 実験により, マスクを必要とせず, idrと同等の性能を保ちつつ, 再構成品質でnrfを上回った。
  論文  参考訳（メタデータ） (2021-04-20T15:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。