論文の概要: NeAI: A Pre-convoluted Representation for Plug-and-Play Neural Ambient
Illumination
- arxiv url: http://arxiv.org/abs/2304.08757v1
- Date: Tue, 18 Apr 2023 06:32:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-19 15:54:24.769046
- Title: NeAI: A Pre-convoluted Representation for Plug-and-Play Neural Ambient
Illumination
- Title(参考訳): NeAI: プラグアンドプレイ型ニューラルアンビエント照明のための事前計算式
- Authors: Yiyu Zhuang, Qi Zhang, Xuan Wang, Hao Zhu, Ying Feng, Xiaoyu Li, Ying
Shan, Xun Cao
- Abstract要約: ニューラル環境照明(NeAI)という枠組みを提案する。
NeAIは、物理的な方法で複雑な照明を扱うための照明モデルとしてNeRF(Neural Radiance Fields)を使用している。
実験は、以前の作品と比較して、ノベルビューレンダリングの優れたパフォーマンスを示す。
- 参考スコア(独自算出の注目度): 28.433403714053103
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in implicit neural representation have demonstrated the
ability to recover detailed geometry and material from multi-view images.
However, the use of simplified lighting models such as environment maps to
represent non-distant illumination, or using a network to fit indirect light
modeling without a solid basis, can lead to an undesirable decomposition
between lighting and material. To address this, we propose a fully
differentiable framework named neural ambient illumination (NeAI) that uses
Neural Radiance Fields (NeRF) as a lighting model to handle complex lighting in
a physically based way. Together with integral lobe encoding for
roughness-adaptive specular lobe and leveraging the pre-convoluted background
for accurate decomposition, the proposed method represents a significant step
towards integrating physically based rendering into the NeRF representation.
The experiments demonstrate the superior performance of novel-view rendering
compared to previous works, and the capability to re-render objects under
arbitrary NeRF-style environments opens up exciting possibilities for bridging
the gap between virtual and real-world scenes. The project and supplementary
materials are available at https://yiyuzhuang.github.io/NeAI/.
- Abstract(参考訳): 近年の暗黙的神経表現の進歩は、多視点画像から詳細な形状や素材を復元する能力を示している。
しかし, 環境マップなどの簡易照明モデルを用いて非距離照明を表現したり, ネットワークを用いて直接光モデリングを行うことにより, 照明と材料の間には望ましくない分解が生じる可能性がある。
そこで我々は,NeRF(Neural Radiance Fields)を照明モデルとして用いて,複雑な照明を物理的に処理する,NeAI(Neural ambient illumination)という,完全に微分可能なフレームワークを提案する。
粗さ適応型スペキュラローブのための積分ローブ符号化と、事前計算した背景を正確な分解に活用することにより、提案手法は、物理ベースレンダリングをNeRF表現に統合するための重要なステップを示す。
実験では、従来の作品と比較して、新規ビューレンダリングの優れた性能を示し、任意のNeRFスタイルの環境下でオブジェクトを再レンダリングする能力は、仮想シーンと現実世界シーンのギャップを埋めるエキサイティングな可能性を開く。
プロジェクトと追加資料はhttps://yiyuzhuang.github.io/neai/で入手できる。
関連論文リスト
- Anisotropic Neural Representation Learning for High-Quality Neural
Rendering [0.0]
本稿では、学習可能なビュー依存機能を利用してシーン表現と再構成を改善する異方性ニューラル表現学習法を提案する。
我々の手法は柔軟であり、NeRFベースのフレームワークにプラグインできる。
論文 参考訳(メタデータ) (2023-11-30T07:29:30Z) - Neural Relighting with Subsurface Scattering by Learning the Radiance
Transfer Gradient [73.52585139592398]
本稿では,ボリュームレンダリングによる放射移動場学習のための新しいフレームワークを提案する。
我々は、我々のコードと、地下散乱効果を持つ新しい光ステージのオブジェクトデータセットを公開します。
論文 参考訳(メタデータ) (2023-06-15T17:56:04Z) - TensoIR: Tensorial Inverse Rendering [53.51211939277516]
テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。
TensoRFは、放射場モデリングのための最先端のアプローチである。
論文 参考訳(メタデータ) (2023-04-24T21:39:13Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳(メタデータ) (2023-04-06T17:51:54Z) - Physics-based Indirect Illumination for Inverse Rendering [70.27534648770057]
本稿では,複数視点のRGB画像からシーンの照明,幾何学,材料を学習する物理ベースの逆レンダリング手法を提案する。
副産物として、我々の物理ベースの逆レンダリングモデルは、フレキシブルでリアルな素材編集やリライティングを容易にする。
論文 参考訳(メタデータ) (2022-12-09T07:33:49Z) - Modeling Indirect Illumination for Inverse Rendering [31.734819333921642]
本稿では,空間的に変化する間接照明を効率よく回収するための新しい手法を提案する。
重要な洞察は、間接照明は入力画像から学習した神経放射場から便利に導出できるということである。
合成データと実データの両方の実験は、従来の研究と比較して、我々のアプローチの優れた性能を示している。
論文 参考訳(メタデータ) (2022-04-14T09:10:55Z) - NeILF: Neural Incident Light Field for Physically-based Material
Estimation [31.230609753253713]
本稿では,多視点画像と再構成幾何から物質と照明を推定するための微分可能なレンダリングフレームワークを提案する。
本フレームワークでは,シーン照明をニューラルインシデント光電場(NeILF)と表現し,多層パーセプトロンでモデル化した表面BRDFとして材料特性を示す。
論文 参考訳(メタデータ) (2022-03-14T15:23:04Z) - InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。
提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。
複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
論文 参考訳(メタデータ) (2021-12-31T11:56:01Z) - DIB-R++: Learning to Predict Lighting and Material with a Hybrid
Differentiable Renderer [78.91753256634453]
そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。
そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。
より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
論文 参考訳(メタデータ) (2021-10-30T01:59:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。