論文の概要: NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis

• arxiv url: http://arxiv.org/abs/2012.03927v1
• Date: Mon, 7 Dec 2020 18:56:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 20:59:36.363922
• Title: NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis
• Title（参考訳）: NeRV:リライティングとビュー合成のためのニューラルリフレクタンスと可視界
• Authors: Pratul P. Srinivasan and Boyang Deng and Xiuming Zhang and Matthew Tancik and Ben Mildenhall and Jonathan T. Barron
• Abstract要約: 本稿では,無拘束の照明により照らされたシーンの画像を入力として入力する手法を提案する。 これにより、任意の照明条件下で新しい視点からレンダリングできる3D表現を生成します。
• 参考スコア（独自算出の注目度）: 45.71507069571216
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a method that takes as input a set of images of a scene illuminated by unconstrained known lighting, and produces as output a 3D representation that can be rendered from novel viewpoints under arbitrary lighting conditions. Our method represents the scene as a continuous volumetric function parameterized as MLPs whose inputs are a 3D location and whose outputs are the following scene properties at that input location: volume density, surface normal, material parameters, distance to the first surface intersection in any direction, and visibility of the external environment in any direction. Together, these allow us to render novel views of the object under arbitrary lighting, including indirect illumination effects. The predicted visibility and surface intersection fields are critical to our model's ability to simulate direct and indirect illumination during training, because the brute-force techniques used by prior work are intractable for lighting conditions outside of controlled setups with a single light. Our method outperforms alternative approaches for recovering relightable 3D scene representations, and performs well in complex lighting settings that have posed a significant challenge to prior work.
• Abstract（参考訳）: 本稿では、制約のない未知の照明で照らされたシーンの画像の集合を入力として取り、任意の照明条件下で新しい視点から描画可能な3D表現を出力する手法を提案する。 本手法は,入力が3次元位置であり,出力が入力位置の次のシーン特性であるmlpとしてパラメータ化された連続ボリューム関数として,任意の方向における体積密度,表面正規値,材料パラメータ,第1面交差点までの距離,任意の方向における外部環境の可視性を表す。 これらを組み合わせることで、間接照明効果を含む任意の照明下でオブジェクトの新たなビューを描画することができる。 予測された視界と表面の交叉場は、トレーニング中に直接的および間接的な照明をシミュレートするモデルの能力にとって重要である。 提案手法は,再現可能な3dシーン表現を復元するための代替手法よりも優れており,先行作業において大きな課題となった複雑な照明環境では良好に機能する。

関連論文リスト

• GS-Phong: Meta-Learned 3D Gaussians for Relightable Novel View Synthesis [63.5925701087252]
  本稿では,3次元ガウス点の集合を用いて,点光で照らされたシーンを表現する手法を提案する。 Blinn-Phongモデルにインスパイアされた我々の手法は、シーンを周囲、拡散、および特異成分に分解する。 照明条件に依存しない幾何学的情報の分解を容易にするため,新しい二段階最適化に基づくメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-31T13:48:54Z)
• Factored-NeuS: Reconstructing Surfaces, Illumination, and Materials of Possibly Glossy Objects [46.04357263321969]
  提案する多視点画像からシーンの表面, 材料, 照明を復元する手法を開発した。 追加のデータは必要ないし、光沢のあるオブジェクトや明るい照明も扱える。
  論文  参考訳（メタデータ） (2023-05-29T07:44:19Z)
• Neural Light Field Estimation for Street Scenes with Differentiable Virtual Object Insertion [129.52943959497665]
  既存の屋外照明推定の作業は通常、シーン照明を環境マップに単純化する。 単一画像から5次元HDR光場を推定するニューラルネットワークを提案する。 自律運転アプリケーションにおけるARオブジェクト挿入の利点を示す。
  論文  参考訳（メタデータ） (2022-08-19T17:59:16Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• NeILF: Neural Incident Light Field for Physically-based Material Estimation [31.230609753253713]
  本稿では,多視点画像と再構成幾何から物質と照明を推定するための微分可能なレンダリングフレームワークを提案する。 本フレームワークでは,シーン照明をニューラルインシデント光電場(NeILF)と表現し,多層パーセプトロンでモデル化した表面BRDFとして材料特性を示す。
  論文  参考訳（メタデータ） (2022-03-14T15:23:04Z)
• Neural Ray-Tracing: Learning Surfaces and Reflectance for Relighting and View Synthesis [28.356700318603565]
  シーン間の光輸送を明示的にモデル化し、従来の統合スキームとレンダリング方程式に頼ってシーンを再構成します。 従来のレンダリング法で確立された表面表現による分解輸送を学習することにより、自然に形状、反射性、照明、シーン構成の編集が容易になる。 提案手法は,NERVデータセットのサブセットの合成およびキャプチャビューから得られたシーン編集,リライティング,リフレクタンス推定に有効である。
  論文  参考訳（メタデータ） (2021-04-28T03:47:48Z)
• Lighthouse: Predicting Lighting Volumes for Spatially-Coherent Illumination [84.00096195633793]
  入力狭帯域ステレオ画像ペアからシーン内の任意の3次元位置における入射照度を推定する深層学習ソリューションを提案する。 本モデルでは,入力ステレオペア近傍の視野ビューと,各シーン内の球状パノラマのみを監督する。 提案手法は,高精細な仮想物体を実画像に挿入して照らし出すのに十分な空間変化の連続した照明を予測できることを実証する。
  論文  参考訳（メタデータ） (2020-03-18T17:46:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。