論文の概要: S$^3$-NeRF: Neural Reflectance Field from Shading and Shadow under a Single Viewpoint

• arxiv url: http://arxiv.org/abs/2210.08936v1
• Date: Mon, 17 Oct 2022 11:01:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 16:29:02.105524
• Title: S$^3$-NeRF: Neural Reflectance Field from Shading and Shadow under a Single Viewpoint
• Title（参考訳）: s$^3$-nerf:単一視点下での陰影と影からの神経反射場
• Authors: Wenqi Yang, Guanying Chen, Chaofeng Chen, Zhenfang Chen, Kwan-Yee K. Wong
• Abstract要約: 本手法は,シーンの3次元形状とBRDFを表現するために,ニューラルリフレクタンス場を学習する。 本手法は,一視点画像からシーンの可視部分と可視部分の両方を含む3次元形状を復元することができる。 新規ビュー合成やリライトといったアプリケーションをサポートする。
• 参考スコア（独自算出の注目度）: 22.42916940712357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we address the "dual problem" of multi-view scene reconstruction in which we utilize single-view images captured under different point lights to learn a neural scene representation. Different from existing single-view methods which can only recover a 2.5D scene representation (i.e., a normal / depth map for the visible surface), our method learns a neural reflectance field to represent the 3D geometry and BRDFs of a scene. Instead of relying on multi-view photo-consistency, our method exploits two information-rich monocular cues, namely shading and shadow, to infer scene geometry. Experiments on multiple challenging datasets show that our method is capable of recovering 3D geometry, including both visible and invisible parts, of a scene from single-view images. Thanks to the neural reflectance field representation, our method is robust to depth discontinuities. It supports applications like novel-view synthesis and relighting. Our code and model can be found at https://ywq.github.io/s3nerf.
• Abstract（参考訳）: 本稿では,異なる点灯下で撮影された単一視点画像を用いて,ニューラルシーン表現を学習する多視点シーン再構築の「二重問題」に対処する。 2.5次元シーン表現(すなわち可視面の通常/深さマップ)のみを復元できる既存の単一視点法とは異なり、本手法はシーンの3次元形状とbrdfを表現するためにニューラルネットワークの反射場を学習する。 本手法は,多視点フォトコンシスタンスに頼る代わりに,情報に富んだ2つの単眼的手がかり(シェーディングとシャドー)を活用し,シーン形状を推定する。 複数の難易度データセットを用いた実験により,単視点画像からシーンの可視部分と不可視部分の両方を含む3次元形状を復元できることが確認された。 ニューラルリフレクタンス場表現により,本手法は深度不連続性に対して頑健である。 novel-view synthesisやrelightingといったアプリケーションをサポートする。 コードとモデルはhttps://ywq.github.io/s3nerfで確認できます。

関連論文リスト

• One-Shot Neural Fields for 3D Object Understanding [112.32255680399399]
  ロボット工学のための統一的でコンパクトなシーン表現を提案する。 シーン内の各オブジェクトは、幾何学と外観をキャプチャする潜在コードによって描写される。 この表現は、新しいビューレンダリングや3D再構成、安定した把握予測といった様々なタスクのためにデコードできる。
  論文  参考訳（メタデータ） (2022-10-21T17:33:14Z)
• PS-NeRF: Neural Inverse Rendering for Multi-view Photometric Stereo [22.42916940712357]
  本稿では,暗黙表現に基づくMVPSのニューラルネットワーク逆レンダリング手法を提案する。 本手法は既存のMVPSやニューラルレンダリング法よりもはるかに正確な形状再構成を実現する。
  論文  参考訳（メタデータ） (2022-07-23T03:55:18Z)
• Neural Groundplans: Persistent Neural Scene Representations from a Single Image [90.04272671464238]
  本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。 本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Towards Learning Neural Representations from Shadows [11.60149896896201]
  本稿では,シーンに存在する影のみから,ニューラルシーンの表現を学習する手法を提案する。 我々のフレームワークは高度に一般化可能であり、既存の3D再構成技術と協調して動作する。
  論文  参考訳（メタデータ） (2022-03-29T23:13:41Z)
• Light Field Networks: Neural Scene Representations with Single-Evaluation Rendering [60.02806355570514]
  2次元観察から3Dシーンの表現を推定することは、コンピュータグラフィックス、コンピュータビジョン、人工知能の基本的な問題である。 そこで我々は,360度4次元光場における基礎となる3次元シーンの形状と外観の両面を表現した新しいニューラルシーン表現,光場ネットワーク(LFN)を提案する。 LFNからレイをレンダリングするには*single*ネットワークの評価しか必要としない。
  論文  参考訳（メタデータ） (2021-06-04T17:54:49Z)
• IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
  本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。 レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
  論文  参考訳（メタデータ） (2021-02-25T18:56:21Z)
• Single-View View Synthesis with Multiplane Images [64.46556656209769]
  深層学習を応用して、既知の視点で2つ以上の入力画像が与えられた多面体画像を生成する。 本手法は,単一画像入力から直接多面体画像を予測することを学習する。 さらに、適切な深度マップを生成し、背景層の前景オブジェクトのエッジの背後にあるコンテンツを埋める。
  論文  参考訳（メタデータ） (2020-04-23T17:59:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。