論文の概要: NeRO: Neural Geometry and BRDF Reconstruction of Reflective Objects from Multiview Images

• arxiv url: http://arxiv.org/abs/2305.17398v1
• Date: Sat, 27 May 2023 07:40:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 19:47:04.306137
• Title: NeRO: Neural Geometry and BRDF Reconstruction of Reflective Objects from Multiview Images
• Title（参考訳）: ニューロ:マルチビュー画像からの反射物体のニューラルジオメトリとBRDF再構成
• Authors: Yuan Liu and Peng Wang and Cheng Lin and Xiaoxiao Long and Jiepeng Wang and Lingjie Liu and Taku Komura and Wenping Wang
• Abstract要約: 未知の環境で撮影された多視点画像から反射物体の形状とBRDFを再構成するニューラルネットワークNeROを提案する。
• 参考スコア（独自算出の注目度）: 44.1333444097976
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We present a neural rendering-based method called NeRO for reconstructing the geometry and the BRDF of reflective objects from multiview images captured in an unknown environment. Multiview reconstruction of reflective objects is extremely challenging because specular reflections are view-dependent and thus violate the multiview consistency, which is the cornerstone for most multiview reconstruction methods. Recent neural rendering techniques can model the interaction between environment lights and the object surfaces to fit the view-dependent reflections, thus making it possible to reconstruct reflective objects from multiview images. However, accurately modeling environment lights in the neural rendering is intractable, especially when the geometry is unknown. Most existing neural rendering methods, which can model environment lights, only consider direct lights and rely on object masks to reconstruct objects with weak specular reflections. Therefore, these methods fail to reconstruct reflective objects, especially when the object mask is not available and the object is illuminated by indirect lights. We propose a two-step approach to tackle this problem. First, by applying the split-sum approximation and the integrated directional encoding to approximate the shading effects of both direct and indirect lights, we are able to accurately reconstruct the geometry of reflective objects without any object masks. Then, with the object geometry fixed, we use more accurate sampling to recover the environment lights and the BRDF of the object. Extensive experiments demonstrate that our method is capable of accurately reconstructing the geometry and the BRDF of reflective objects from only posed RGB images without knowing the environment lights and the object masks. Codes and datasets are available at https://github.com/liuyuan-pal/NeRO.
• Abstract（参考訳）: 未知の環境で撮影された多視点画像から反射物体の形状とBRDFを再構成するニューラルネットワークNeROを提案する。 反射物体のマルチビュー再構成は、鏡面反射がビュー依存であるため、多くのマルチビュー再構成法の基礎となるマルチビュー一貫性に違反するため、非常に困難である。 最近のニューラルレンダリング技術は、環境光とオブジェクト表面との相互作用をモデル化して、ビュー依存の反射に適合させることができるため、マルチビュー画像から反射オブジェクトを再構築することができる。 しかし、特に幾何学が未知の場合、ニューラルネットワークによる環境光を正確にモデル化することは困難である。 環境光をモデル化できる既存のニューラルレンダリング手法のほとんどは、直接の光しか考慮せず、オブジェクトマスクを使用して、鏡面の弱い反射でオブジェクトを再構築している。 そのため、特に物体マスクが入手できず、間接的な光で照らされる場合、反射体を再構成することができない。 我々はこの問題に取り組むための2段階のアプローチを提案する。 まず, 直接光と間接光の両方の陰影効果を近似するために, スプリットサム近似と統合方向符号化を適用し, 物体マスクを使わずに反射物体の形状を正確に再構成することができる。 次に,オブジェクトの形状を固定することで,より正確なサンプリングを行い,オブジェクトの環境光とbrdfを復元する。 広汎な実験により,環境光や物体マスクを知ることなく,RGB画像のみから反射物体の形状とBRDFを正確に再構成できることが実証された。 コードとデータセットはhttps://github.com/liuyuan-pal/neroで入手できる。

関連論文リスト

• Multi-times Monte Carlo Rendering for Inter-reflection Reconstruction [51.911195773164245]
  逆レンダリング法は、非絡み合ったジオメトリー、材料、環境光で高忠実度3Dオブジェクトを再構成する際、顕著な性能を実現している。 環境照明を総合的に計算するマルチタイムモンテカルロサンプリングを導入したRef-MC2を提案する。 また,本手法のアンタングル化能力を示すために,リライティングや素材編集などのダウンストリームアプリケーションも紹介する。
  論文  参考訳（メタデータ） (2024-07-08T09:27:34Z)
• Sparse multi-view hand-object reconstruction for unseen environments [31.604141859402187]
  我々は、合成手オブジェクトデータセットに基づいてモデルをトレーニングし、実世界記録手オブジェクトデータセットを直接評価する。 目立たない手やオブジェクトをRGBから復元することは難しいが、追加の視点は再建の質を改善するのに役立つ。
  論文  参考訳（メタデータ） (2024-05-02T15:01:25Z)
• UniSDF: Unifying Neural Representations for High-Fidelity 3D Reconstruction of Complex Scenes with Reflections [92.38975002642455]
  大規模な複雑なシーンをリフレクションで再構成できる汎用3次元再構成手法UniSDFを提案する。 提案手法は,複雑な大規模シーンを細部と反射面で頑健に再構築することができる。
  論文  参考訳（メタデータ） (2023-12-20T18:59:42Z)
• DeepShaRM: Multi-View Shape and Reflectance Map Recovery Under Unknown Lighting [35.18426818323455]
  我々は,この課題に対して最先端の精度を実現する新しいマルチビュー手法であるDeepShaRMを導出する。 本稿では,カメラ・ビュー・リフレクタンス・マップを復元する新しいディープ・リフレクタンス・マップ推定ネットワークを提案する。 シェーディングネットワークは、符号付き距離関数で表される幾何推定を更新する。
  論文  参考訳（メタデータ） (2023-10-26T17:50:10Z)
• NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination [60.89737319987051]
  照明条件が不明な物体の多視点像から物体の形状と空間的反射率を復元する問題に対処する。 これにより、任意の環境照明下でのオブジェクトの新たなビューのレンダリングや、オブジェクトの材料特性の編集が可能になる。
  論文  参考訳（メタデータ） (2021-06-03T16:18:01Z)
• Multi-view 3D Reconstruction of a Texture-less Smooth Surface of Unknown Generic Reflectance [86.05191217004415]
  表面反射率の不明なテクスチャレス物体の多視点再構成は難しい課題である。 本稿では,コライトスキャナーをベースとした,この問題に対するシンプルで堅牢な解法を提案する。
  論文  参考訳（メタデータ） (2021-05-25T01:28:54Z)
• Shape From Tracing: Towards Reconstructing 3D Object Geometry and SVBRDF Material from Images via Differentiable Path Tracing [16.975014467319443]
  識別可能なパストレースは、複雑な外観効果を再現できるため、魅力的なフレームワークである。 本稿では,初期粗いメッシュとメッシュファセット単位の材料表現を改良するために,微分可能なレイトレーシングを利用する方法を示す。 また、制約のない環境下での現実世界の物体の初期再構成を洗練させる方法についても示す。
  論文  参考訳（メタデータ） (2020-12-06T18:55:35Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。