論文の概要: Neural-PBIR Reconstruction of Shape, Material, and Illumination

• arxiv url: http://arxiv.org/abs/2304.13445v5
• Date: Thu, 1 Feb 2024 08:47:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 19:48:22.219066
• Title: Neural-PBIR Reconstruction of Shape, Material, and Illumination
• Title（参考訳）: 形状, 材料, 照明のニューラルPBIR再構成
• Authors: Cheng Sun, Guangyan Cai, Zhengqin Li, Kai Yan, Cheng Zhang, Carl Marshall, Jia-Bin Huang, Shuang Zhao, Zhao Dong
• Abstract要約: ニューラルネットワークを用いた物体再構成と物理ベースの逆レンダリング(PBIR)を組み合わせた高精度かつ高効率な物体再構成パイプラインを提案する。 我々のパイプラインは、まず、ニューラルネットワークSDFに基づく形状再構成を利用して、高品質であるが、潜在的に不完全な物体形状を生成する。 最終段階では、ニューラルネットワークによる予測により、PBIRを行い、初期結果を洗練し、オブジェクトの形状、材料、照明の最終的な高品質な再構築を得る。
• 参考スコア（独自算出の注目度）: 26.628189591572074
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Reconstructing the shape and spatially varying surface appearances of a physical-world object as well as its surrounding illumination based on 2D images (e.g., photographs) of the object has been a long-standing problem in computer vision and graphics. In this paper, we introduce an accurate and highly efficient object reconstruction pipeline combining neural based object reconstruction and physics-based inverse rendering (PBIR). Our pipeline firstly leverages a neural SDF based shape reconstruction to produce high-quality but potentially imperfect object shape. Then, we introduce a neural material and lighting distillation stage to achieve high-quality predictions for material and illumination. In the last stage, initialized by the neural predictions, we perform PBIR to refine the initial results and obtain the final high-quality reconstruction of object shape, material, and illumination. Experimental results demonstrate our pipeline significantly outperforms existing methods quality-wise and performance-wise.
• Abstract（参考訳）: 物体の2d画像(例えば写真)に基づく物理世界の物体の形状と空間的に変化する表面の外観の再構築は、コンピュータビジョンやグラフィックスにおいて長年の課題となっている。 本稿では,ニューラルネットワークを用いた物体再構成と物理ベースの逆レンダリング(PBIR)を組み合わせた高精度かつ高効率な物体再構成パイプラインを提案する。 当社のパイプラインではまず,ニューラルsdfベースの形状再構成を活用して,高品質だが潜在的に不完全なオブジェクト形状を生成する。 次に, 神経材料と照明蒸留ステージを導入し, 材料と照明の高品質な予測を実現する。 最終段階では、神経予測によって初期化され、PBIRを用いて初期結果を洗練し、オブジェクト形状、材料、照明の最終的な高品質な再構成を得る。 実験の結果、パイプラインは既存のメソッドよりも品質や性能に優れています。

関連論文リスト

• AniSDF: Fused-Granularity Neural Surfaces with Anisotropic Encoding for High-Fidelity 3D Reconstruction [55.69271635843385]
  AniSDF(AniSDF)は,高忠実度3次元再構成のための物理に基づく符号化による融合粒度ニューラルサーフェスを学習する新しいアプローチである。 本手法は, 幾何再構成と新規ビュー合成の両面において, SDF法の品質を飛躍的に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T03:10:38Z)
• RISE-SDF: a Relightable Information-Shared Signed Distance Field for Glossy Object Inverse Rendering [26.988572852463815]
  本稿では,新しいエンド・ツー・エンド・エンド・リライトブル・ニューラル・リバース・レンダリングシステムを提案する。 本アルゴリズムは,逆レンダリングとリライトにおける最先端性能を実現する。 実験により, 逆レンダリングおよびリライティングにおける最先端性能が得られた。
  論文  参考訳（メタデータ） (2024-09-30T09:42:10Z)
• OpenMaterial: A Comprehensive Dataset of Complex Materials for 3D Reconstruction [54.706361479680055]
  295個の異なる材料からなる1001個のオブジェクトからなるOpenMaterialデータセットを紹介した。 OpenMaterialは3D形状、マテリアルタイプ、カメラポーズ、深さ、オブジェクトマスクなど、包括的なアノテーションを提供する。 これは、多様で挑戦的な材料を持つオブジェクト上で、既存のアルゴリズムの定量的評価を可能にする最初の大規模データセットである。
  論文  参考訳（メタデータ） (2024-06-13T07:46:17Z)
• PhyRecon: Physically Plausible Neural Scene Reconstruction [81.73129450090684]
  PHYRECONは、微分可能なレンダリングと微分可能な物理シミュレーションの両方を利用して暗黙的な表面表現を学習する最初のアプローチである。 この設計の中心は、SDFに基づく暗黙の表現と明示的な表面点の間の効率的な変換である。 また,物理シミュレータの安定性も向上し,全データセットに対して少なくとも40%の改善が得られた。
  論文  参考訳（メタデータ） (2024-04-25T15:06:58Z)
• Inverse Rendering of Glossy Objects via the Neural Plenoptic Function and Radiance Fields [45.64333510966844]
  逆レンダリングは、オブジェクトの幾何学と材料の両方を復元することを目的としている。 我々は、NeRFとレイトレーシングに基づく新しい5次元ニューラルプレノプティクス関数(NeP)を提案する。 本手法は, 近くの物体からの複雑な光の相互作用により, 難解な光沢のある物体の高忠実な形状・材料を再構成することができる。
  論文  参考訳（メタデータ） (2024-03-24T16:34:47Z)
• SHINOBI: Shape and Illumination using Neural Object Decomposition via BRDF Optimization In-the-wild [76.21063993398451]
  制約のない画像コレクションに基づくオブジェクトの逆レンダリングは、コンピュータビジョンとグラフィックスにおける長年の課題である。 マルチレゾリューションハッシュ符号化に基づく暗黙の形状表現により,高速かつ堅牢な形状復元が可能となることを示す。 本手法はクラス非依存であり,3Dアセットを生成するために,オブジェクトのWildイメージコレクションで動作する。
  論文  参考訳（メタデータ） (2024-01-18T18:01:19Z)
• NePF: Neural Photon Field for Single-Stage Inverse Rendering [6.977356702921476]
  多視点画像の逆レンダリングに対処するために,新しい単一ステージフレームワークNePF(Neural Photon Field)を提案する。 NePFは、神経暗黙表面の重み関数の背後にある物理的意味を完全に活用することで、この統一を実現する。 我々は本手法を実データと合成データの両方で評価する。
  論文  参考訳（メタデータ） (2023-11-20T06:15:46Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• NeROIC: Neural Rendering of Objects from Online Image Collections [42.02832046768925]
  本稿では,オンライン画像コレクションからオブジェクト表現を取得し,任意のオブジェクトの高品質な形状と材料特性をキャプチャする手法を提案する。 これにより、新規ビュー合成、リライト、調和した背景合成など、さまざまなオブジェクト中心のレンダリングアプリケーションが可能になる。
  論文  参考訳（メタデータ） (2022-01-07T16:45:15Z)
• NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination [60.89737319987051]
  照明条件が不明な物体の多視点像から物体の形状と空間的反射率を復元する問題に対処する。 これにより、任意の環境照明下でのオブジェクトの新たなビューのレンダリングや、オブジェクトの材料特性の編集が可能になる。
  論文  参考訳（メタデータ） (2021-06-03T16:18:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。