論文の概要: Baking Relightable NeRF for Real-time Direct/Indirect Illumination Rendering

• arxiv url: http://arxiv.org/abs/2409.10327v1
• Date: Mon, 16 Sep 2024 14:38:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 15:20:31.989894
• Title: Baking Relightable NeRF for Real-time Direct/Indirect Illumination Rendering
• Title（参考訳）: リアルタイム直接・間接イルミネーションレンダリングのためのベーキングリライザブルNeRF
• Authors: Euntae Choi, Vincent Carpentier, Seunghun Shin, Sungjoo Yoo,
• Abstract要約: レンダリング方程式の計算コストが高いため、リアルタイムのリライトは困難である。 そこで本研究では,CNNを用いて一次曲面点とレンダリングパラメータを計算する手法を提案する。 両方の蒸留は、事前訓練された教師モデルから訓練され、目に見えない照明条件下でリアルタイムな物理的レンダリングを提供する。
• 参考スコア（独自算出の注目度）: 4.812321790984493
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Relighting, which synthesizes a novel view under a given lighting condition (unseen in training time), is a must feature for immersive photo-realistic experience. However, real-time relighting is challenging due to high computation cost of the rendering equation which requires shape and material decomposition and visibility test to model shadow. Additionally, for indirect illumination, additional computation of rendering equation on each secondary surface point (where reflection occurs) is required rendering real-time relighting challenging. We propose a novel method that executes a CNN renderer to compute primary surface points and rendering parameters, required for direct illumination. We also present a lightweight hash grid-based renderer, for indirect illumination, which is recursively executed to perform the secondary ray tracing process. Both renderers are trained in a distillation from a pre-trained teacher model and provide real-time physically-based rendering under unseen lighting condition at a negligible loss of rendering quality.
• Abstract（参考訳）: リライティング(Relighting)は、特定の照明条件下で新しいビューを合成する(トレーニング時間内には見えない)ことで、没入感のあるフォトリアリスティック体験に必須の機能である。 しかし、影をモデル化するためには、形状と材料分解と可視性テストを必要とするレンダリング方程式の計算コストが高いため、リアルタイムのリライトは困難である。 さらに、間接照明には、各二次面点(反射が起こる部分)のレンダリング方程式の追加計算が必要である。 直接照明に必要な一次曲面点とレンダリングパラメータを計算するために,CNNレンダラを実行する新しい手法を提案する。 また、間接照明のための軽量なハッシュグリッドベースのレンダラーを提案し、二次光追跡プロセスを実行するために再帰的に実行される。 両レンダラーは、事前訓練された教師モデルからの蒸留で訓練され、未確認の照明条件下でリアルタイムな物理ベースのレンダリングを、レンダリング品質の無視できない損失で提供する。

関連論文リスト

• NeAI: A Pre-convoluted Representation for Plug-and-Play Neural Ambient Illumination [28.433403714053103]
  ニューラル環境照明(NeAI)という枠組みを提案する。 NeAIは、物理的な方法で複雑な照明を扱うための照明モデルとしてNeRF(Neural Radiance Fields)を使用している。 実験は、以前の作品と比較して、ノベルビューレンダリングの優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-04-18T06:32:30Z)
• RelightableHands: Efficient Neural Relighting of Articulated Hand Models [46.60594572471557]
  我々は、新しい照明下でリアルタイムにアニメーションできる高忠実度パーソナライズドハンドをレンダリングするための、最初のニューラルリライティング手法を提案する。 本手法では,教師が1点当たりの外観を,ライトステージで撮影した画像から学習する。 教師モデルによって表現されたイメージをトレーニングデータとして利用することにより,学生モデルは自然照度下での外観を直接リアルタイムで予測する。
  論文  参考訳（メタデータ） (2023-02-09T18:59:48Z)
• Physics-based Indirect Illumination for Inverse Rendering [70.27534648770057]
  本稿では,複数視点のRGB画像からシーンの照明,幾何学,材料を学習する物理ベースの逆レンダリング手法を提案する。 副産物として、我々の物理ベースの逆レンダリングモデルは、フレキシブルでリアルな素材編集やリライティングを容易にする。
  論文  参考訳（メタデータ） (2022-12-09T07:33:49Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• Modeling Indirect Illumination for Inverse Rendering [31.734819333921642]
  本稿では,空間的に変化する間接照明を効率よく回収するための新しい手法を提案する。 重要な洞察は、間接照明は入力画像から学習した神経放射場から便利に導出できるということである。 合成データと実データの両方の実験は、従来の研究と比較して、我々のアプローチの優れた性能を示している。
  論文  参考訳（メタデータ） (2022-04-14T09:10:55Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• Learning Neural Transmittance for Efficient Rendering of Reflectance Fields [43.24427791156121]
  本稿では,ニューラルリフレクタンスフィールドのレンダリングを高速化する事前計算型ニューラルトランスミッション関数に基づく新しい手法を提案する。 実シーンと合成シーンの結果は、最小の精度で環境マップ下でのレンダリングにおいて、ほぼ2桁のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-10-25T21:12:25Z)
• Sparse Needlets for Lighting Estimation with Spherical Transport Loss [89.52531416604774]
  NeedleLightは、新しい照明推定モデルであり、必要に応じて照明を表現し、周波数領域と空間領域を共同で照明推定することができる。 大規模な実験により、NeedleLightは、最先端の手法と比較して、複数の評価指標で常に優れた照明推定を実現していることがわかった。
  論文  参考訳（メタデータ） (2021-06-24T15:19:42Z)
• Object-based Illumination Estimation with Rendering-aware Neural Networks [56.01734918693844]
  個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。 推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
  論文  参考訳（メタデータ） (2020-08-06T08:23:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。