論文の概要: PBR-NeRF: Inverse Rendering with Physics-Based Neural Fields

• arxiv url: http://arxiv.org/abs/2412.09680v1
• Date: Thu, 12 Dec 2024 19:00:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:03:06.110690
• Title: PBR-NeRF: Inverse Rendering with Physics-Based Neural Fields
• Title（参考訳）: PBR-NeRF:物理ベースニューラルネットワークを用いた逆レンダリング
• Authors: Sean Wu, Shamik Basu, Tim Broedermann, Luc Van Gool, Christos Sakaridis,
• Abstract要約: シーン形状,材料,照明を共同で推定できる逆レンダリング(IR)モデルを提案する。 本手法は, 材料推定を必要とする他の逆レンダリングおよび3次元再構成フレームワークに容易に適用可能である。
• 参考スコア（独自算出の注目度）: 49.6405458373509
• License:
• Abstract: We tackle the ill-posed inverse rendering problem in 3D reconstruction with a Neural Radiance Field (NeRF) approach informed by Physics-Based Rendering (PBR) theory, named PBR-NeRF. Our method addresses a key limitation in most NeRF and 3D Gaussian Splatting approaches: they estimate view-dependent appearance without modeling scene materials and illumination. To address this limitation, we present an inverse rendering (IR) model capable of jointly estimating scene geometry, materials, and illumination. Our model builds upon recent NeRF-based IR approaches, but crucially introduces two novel physics-based priors that better constrain the IR estimation. Our priors are rigorously formulated as intuitive loss terms and achieve state-of-the-art material estimation without compromising novel view synthesis quality. Our method is easily adaptable to other inverse rendering and 3D reconstruction frameworks that require material estimation. We demonstrate the importance of extending current neural rendering approaches to fully model scene properties beyond geometry and view-dependent appearance. Code is publicly available at https://github.com/s3anwu/pbrnerf
• Abstract（参考訳）: 物理ベースレンダリング(PBR)理論を応用したニューラルレイディアンス場(NeRF)による3次元再構成における逆レンダリング問題(PBR-NeRF)に対処する。 提案手法は,ほとんどのNeRFおよび3次元ガウス散乱法において,シーン素材のモデル化や照明を伴わずに,ビュー依存の外観を推定する。 この制限に対処するために、シーン幾何学、材料、照明を共同で推定できる逆レンダリング(IR)モデルを提案する。 我々のモデルは、最近のNeRFベースのIRアプローチに基づいていますが、重要な点として、2つの新しい物理ベースの先行手法を導入し、IR推定をよりよく制約します。 我々の先行は直感的な損失項として厳密に定式化され、新規なビュー合成品質を損なうことなく最先端の材料推定が達成される。 本手法は, 材料推定を必要とする他の逆レンダリングおよび3次元再構成フレームワークに容易に適用可能である。 我々は、幾何学やビュー依存の外観を超えたシーン特性を完全にモデル化するために、現在のニューラルレンダリングアプローチを拡張することの重要性を実証する。 コードはhttps://github.com/s3anwu/pbrnerfで公開されている。

関連論文リスト

• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• NeAI: A Pre-convoluted Representation for Plug-and-Play Neural Ambient Illumination [28.433403714053103]
  ニューラル環境照明(NeAI)という枠組みを提案する。 NeAIは、物理的な方法で複雑な照明を扱うための照明モデルとしてNeRF(Neural Radiance Fields)を使用している。 実験は、以前の作品と比較して、ノベルビューレンダリングの優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-04-18T06:32:30Z)
• Improving Neural Radiance Fields with Depth-aware Optimization for Novel View Synthesis [12.3338393483795]
  SfMNeRFは,新規な視点の合成と3次元シーン形状の再構成を行う手法である。 SfMNeRFは、エピポーラ性、光度整合性、深さの滑らかさ、および3Dシーン構造を明示的に再構成するためにマッチ位置制約を用いる。 2つの公開データセットの実験では、SfMNeRFが最先端のアプローチを上回ることが示されている。
  論文  参考訳（メタデータ） (2023-04-11T13:37:17Z)
• Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
  本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
  論文  参考訳（メタデータ） (2023-03-26T12:24:31Z)
• Learning Neural Radiance Fields from Multi-View Geometry [1.1011268090482573]
  画像に基づく3次元再構成のために,多視点幾何アルゴリズムとニューラルレージアンス場(NeRF)を組み合わせたMVG-NeRF(MVG-NeRF)というフレームワークを提案する。 NeRFは暗黙の3D表現の分野に革命をもたらした。
  論文  参考訳（メタデータ） (2022-10-24T08:53:35Z)
• Differentiable Rendering for Synthetic Aperture Radar Imagery [0.0]
  本稿では,3次元コンピュータグラフィックスの手法とニューラルレンダリングを組み合わせた合成開口レーダ(SAR)画像の微分可能レンダリング手法を提案する。 高忠実度シミュレーションSARデータを用いた限られたSAR画像からの3次元オブジェクト再構成の逆画像問題に対するアプローチを実証する。
  論文  参考訳（メタデータ） (2022-04-04T05:27:40Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)
• NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination [60.89737319987051]
  照明条件が不明な物体の多視点像から物体の形状と空間的反射率を復元する問題に対処する。 これにより、任意の環境照明下でのオブジェクトの新たなビューのレンダリングや、オブジェクトの材料特性の編集が可能になる。
  論文  参考訳（メタデータ） (2021-06-03T16:18:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。