論文の概要: Neural-PBIR Reconstruction of Shape, Material, and Illumination
- arxiv url: http://arxiv.org/abs/2304.13445v2
- Date: Fri, 28 Jul 2023 07:49:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-31 15:52:48.176324
- Title: Neural-PBIR Reconstruction of Shape, Material, and Illumination
- Title(参考訳): 形状, 材料, 照明のニューラルPBIR再構成
- Authors: Cheng Sun, Guangyan Cai, Zhengqin Li, Kai Yan, Cheng Zhang, Carl
Marshall, Jia-Bin Huang, Shuang Zhao, Zhao Dong
- Abstract要約: 本稿では,ニューラルネットワークによるオブジェクト再構成と物理ベースのレンダリングを併用した堅牢なオブジェクト再構築パイプラインを提案する。
具体的には、私たちのパイプラインはまず、ニューラルネットワークのステージを利用して、物体の形状、反射率、照明の予測を高品質で不完全なものにします。
私たちのパイプラインは、品質と性能の面で既存の再構築方法よりも大幅に優れています。
- 参考スコア(独自算出の注目度): 48.397425108964875
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Reconstructing the shape and spatially varying surface appearances of a
physical-world object as well as its surrounding illumination based on 2D
images (e.g., photographs) of the object has been a long-standing problem in
computer vision and graphics. In this paper, we introduce a robust object
reconstruction pipeline combining neural based object reconstruction and
physics-based inverse rendering (PBIR). Specifically, our pipeline firstly
leverages a neural stage to produce high-quality but potentially imperfect
predictions of object shape, reflectance, and illumination. Then, in the later
stage, initialized by the neural predictions, we perform PBIR to refine the
initial results and obtain the final high-quality reconstruction. Experimental
results demonstrate our pipeline significantly outperforms existing
reconstruction methods quality-wise and performance-wise.
- Abstract(参考訳): 物体の2d画像(例えば写真)に基づく物理世界の物体の形状と空間的に変化する表面の外観の再構築は、コンピュータビジョンやグラフィックスにおいて長年の課題となっている。
本稿では,ニューラルベースオブジェクト再構成と物理ベースの逆レンダリング(pbir)を組み合わせたロバストなオブジェクト再構成パイプラインを提案する。
具体的には、パイプラインはまず神経ステージを利用して、オブジェクトの形状、反射率、照明に関する高品質だが、潜在的に不完全な予測を生成します。
そして, 神経予測によって初期化される後期段階において, pbirを行い, 初期結果を洗練し, 最終的な高品質な再構築を得る。
実験の結果,パイプラインは既存の再構築手法よりも品質,性能に優れていた。
関連論文リスト
- PhyRecon: Physically Plausible Neural Scene Reconstruction [83.26912712054391]
我々はPhyReconを紹介した。これは、異なるレンダリングと微分可能な物理シミュレーションを利用して、暗黙的な表面表現を学習する。
本フレームワークは,ニューラル暗黙表現とシームレスに統合された,新しい微分可能なパーティクルベース物理シミュレータを提案する。
我々の再構成結果は、Isaac Gym氏によって検証され、すべてのデータセットで少なくとも40%改善された、優れた物理的安定性をもたらす。
論文 参考訳(メタデータ) (2024-04-25T15:06:58Z) - Inverse Rendering of Glossy Objects via the Neural Plenoptic Function and Radiance Fields [45.64333510966844]
逆レンダリングは、オブジェクトの幾何学と材料の両方を復元することを目的としている。
我々は、NeRFとレイトレーシングに基づく新しい5次元ニューラルプレノプティクス関数(NeP)を提案する。
本手法は, 近くの物体からの複雑な光の相互作用により, 難解な光沢のある物体の高忠実な形状・材料を再構成することができる。
論文 参考訳(メタデータ) (2024-03-24T16:34:47Z) - SHINOBI: Shape and Illumination using Neural Object Decomposition via BRDF Optimization In-the-wild [76.21063993398451]
制約のない画像コレクションに基づくオブジェクトの逆レンダリングは、コンピュータビジョンとグラフィックスにおける長年の課題である。
マルチレゾリューションハッシュ符号化に基づく暗黙の形状表現により,高速かつ堅牢な形状復元が可能となることを示す。
本手法はクラス非依存であり,3Dアセットを生成するために,オブジェクトのWildイメージコレクションで動作する。
論文 参考訳(メタデータ) (2024-01-18T18:01:19Z) - NePF: Neural Photon Field for Single-Stage Inverse Rendering [6.977356702921476]
多視点画像の逆レンダリングに対処するために,新しい単一ステージフレームワークNePF(Neural Photon Field)を提案する。
NePFは、神経暗黙表面の重み関数の背後にある物理的意味を完全に活用することで、この統一を実現する。
我々は本手法を実データと合成データの両方で評価する。
論文 参考訳(メタデータ) (2023-11-20T06:15:46Z) - SNeS: Learning Probably Symmetric Neural Surfaces from Incomplete Data [77.53134858717728]
我々はニューラルレイディアンスフィールド(NeRF)のようなニューラルリコンストラクションとレンダリングの最近の進歩の強みの上に構築する。
我々は3次元形状と材料特性にソフト対称性の制約を適用し,光,アルベド色,反射率に分解された外観を有する。
保存されていない領域を高い忠実度で再構成し、高品質な新しいビュー画像を作成することができることを示す。
論文 参考訳(メタデータ) (2022-06-13T17:37:50Z) - Neural 3D Reconstruction in the Wild [86.6264706256377]
そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。
そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
論文 参考訳(メタデータ) (2022-05-25T17:59:53Z) - NeROIC: Neural Rendering of Objects from Online Image Collections [42.02832046768925]
本稿では,オンライン画像コレクションからオブジェクト表現を取得し,任意のオブジェクトの高品質な形状と材料特性をキャプチャする手法を提案する。
これにより、新規ビュー合成、リライト、調和した背景合成など、さまざまなオブジェクト中心のレンダリングアプリケーションが可能になる。
論文 参考訳(メタデータ) (2022-01-07T16:45:15Z) - NeRFactor: Neural Factorization of Shape and Reflectance Under an
Unknown Illumination [60.89737319987051]
照明条件が不明な物体の多視点像から物体の形状と空間的反射率を復元する問題に対処する。
これにより、任意の環境照明下でのオブジェクトの新たなビューのレンダリングや、オブジェクトの材料特性の編集が可能になる。
論文 参考訳(メタデータ) (2021-06-03T16:18:01Z) - PhySG: Inverse Rendering with Spherical Gaussians for Physics-based
Material Editing and Relighting [60.75436852495868]
本稿では、RGB入力画像からジオメトリ、マテリアル、イルミネーションをゼロから再構築する逆レンダリングパイプラインPhySGを紹介します。
我々は合成データと実データの両方を用いて,新しい視点のレンダリングを可能にするだけでなく,物質や照明の物理ベースの外観編集を可能にすることを実証した。
論文 参考訳(メタデータ) (2021-04-01T17:59:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。