論文の概要: Neural Free-Viewpoint Relighting for Glossy Indirect Illumination

• arxiv url: http://arxiv.org/abs/2307.06335v1
• Date: Wed, 12 Jul 2023 17:56:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-13 12:14:50.597708
• Title: Neural Free-Viewpoint Relighting for Glossy Indirect Illumination
• Title（参考訳）: 光沢間接照明のための神経自由視点照明
• Authors: Nithin Raghavan, Yan Xiao, Kai-En Lin, Tiancheng Sun, Sai Bi, Zexiang Xu, Tzu-Mao Li, Ravi Ramamoorthi
• Abstract要約: 我々は、光沢反射を含む高周波間接照明に対するハイブリッドニューラルウェーブレットPRTソリューションを、視界の変化によるリライティングのために提示する。 我々は、ビュー依存のリフレクションや因果関係を含む難解なシーンのリアルタイムレンダリングを実演する。
• 参考スコア（独自算出の注目度）: 44.32630651762033
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Precomputed Radiance Transfer (PRT) remains an attractive solution for real-time rendering of complex light transport effects such as glossy global illumination. After precomputation, we can relight the scene with new environment maps while changing viewpoint in real-time. However, practical PRT methods are usually limited to low-frequency spherical harmonic lighting. All-frequency techniques using wavelets are promising but have so far had little practical impact. The curse of dimensionality and much higher data requirements have typically limited them to relighting with fixed view or only direct lighting with triple product integrals. In this paper, we demonstrate a hybrid neural-wavelet PRT solution to high-frequency indirect illumination, including glossy reflection, for relighting with changing view. Specifically, we seek to represent the light transport function in the Haar wavelet basis. For global illumination, we learn the wavelet transport using a small multi-layer perceptron (MLP) applied to a feature field as a function of spatial location and wavelet index, with reflected direction and material parameters being other MLP inputs. We optimize/learn the feature field (compactly represented by a tensor decomposition) and MLP parameters from multiple images of the scene under different lighting and viewing conditions. We demonstrate real-time (512 x 512 at 24 FPS, 800 x 600 at 13 FPS) precomputed rendering of challenging scenes involving view-dependent reflections and even caustics.
• Abstract（参考訳）: precomputed radiance transfer (prt) は光沢大域照明のような複雑な光輸送効果をリアルタイムにレンダリングするための魅力的なソリューションである。 事前計算後、リアルタイムで視点を変えながら、新しい環境マップでシーンをリライトすることができる。 しかし、実用的なPRT法は通常、低周波球面高調波照明に限られる。 ウェーブレットを用いた全周波数技術は有望だが、今のところ実用的影響はほとんどない。 次元の呪いと、はるかに高いデータ要求は、通常、固定された視点で照らすか、三重積積分を持つ直接照明のみに制限されている。 本稿では、光沢反射を含む高周波間接照明に対するハイブリッド型ニューラルウェーブレットPRTソリューションを、視界の変化によるリライティングのために実証する。 具体的には、ハールウェーブレット基底における光輸送関数の表現を試みる。 大域的な照明のために,空間的位置とウェーブレット指数の関数として特徴体に適用した小さな多層パーセプトロン(MLP)を用いて,反射方向と物質パラメータを他のMLP入力とするウェーブレット輸送を学習する。 照明条件や視聴条件の異なるシーンの複数の画像から特徴場(テンソル分解で表される)とMLPパラメータを最適化・学習する。 実時間(24 FPSで512 x 512、13 FPSで800 x 600)で、ビュー依存反射や因果関係を含む難解なシーンのレンダリングを事前に計算した。

関連論文リスト

• Flying with Photons: Rendering Novel Views of Propagating Light [37.06220870989172]
  本稿では,新しい移動カメラの視点から,シーンを通して伝播する光の映像を合成する画像・ニューラルレンダリング技術を提案する。 我々のアプローチは、ピコ秒レベルの時間分解能を持つファースト・オブ・イットタイプの多視点ビデオデータセットをキャプチャするための、新しい超高速撮像装置に依存している。
  論文  参考訳（メタデータ） (2024-04-09T17:48:52Z)
• LightSpeed: Light and Fast Neural Light Fields on Mobile Devices [29.080086014074613]
  モバイルデバイス上でのリアルタイムのノベルビュー画像合成は、計算能力とストレージの制限により禁止されている。 近年の光電場表現の進歩により、モバイルデバイス上でのリアルタイムビュー合成の結果が期待できる。
  論文  参考訳（メタデータ） (2023-10-25T17:59:05Z)
• Self-Calibrating, Fully Differentiable NLOS Inverse Rendering [15.624750787186803]
  NLOS(Time-resolved Non-line-of-Sight)イメージングは、可視光線面で測定された間接照明の光路を反転させることで、隠れたシーンを再構成する。 隠れたシーンの再構成において、画像パラメータを自己校正する完全微分可能なNLOS逆レンダリングパイプラインを導入する。 本手法のロバスト性は, 高い騒音レベル下であっても, 幾何とアルベドを一貫して再構成するものである。
  論文  参考訳（メタデータ） (2023-09-21T13:15:54Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Learning Neural Transmittance for Efficient Rendering of Reflectance Fields [43.24427791156121]
  本稿では,ニューラルリフレクタンスフィールドのレンダリングを高速化する事前計算型ニューラルトランスミッション関数に基づく新しい手法を提案する。 実シーンと合成シーンの結果は、最小の精度で環境マップ下でのレンダリングにおいて、ほぼ2桁のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-10-25T21:12:25Z)
• Sparse Needlets for Lighting Estimation with Spherical Transport Loss [89.52531416604774]
  NeedleLightは、新しい照明推定モデルであり、必要に応じて照明を表現し、周波数領域と空間領域を共同で照明推定することができる。 大規模な実験により、NeedleLightは、最先端の手法と比較して、複数の評価指標で常に優れた照明推定を実現していることがわかった。
  論文  参考訳（メタデータ） (2021-06-24T15:19:42Z)
• PhySG: Inverse Rendering with Spherical Gaussians for Physics-based Material Editing and Relighting [60.75436852495868]
  本稿では、RGB入力画像からジオメトリ、マテリアル、イルミネーションをゼロから再構築する逆レンダリングパイプラインPhySGを紹介します。 我々は合成データと実データの両方を用いて,新しい視点のレンダリングを可能にするだけでなく,物質や照明の物理ベースの外観編集を可能にすることを実証した。
  論文  参考訳（メタデータ） (2021-04-01T17:59:02Z)
• NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis [45.71507069571216]
  本稿では,無拘束の照明により照らされたシーンの画像を入力として入力する手法を提案する。 これにより、任意の照明条件下で新しい視点からレンダリングできる3D表現を生成します。
  論文  参考訳（メタデータ） (2020-12-07T18:56:08Z)
• Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
  光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。 本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。 我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
  論文  参考訳（メタデータ） (2020-10-17T23:40:43Z)
• Crowdsampling the Plenoptic Function [56.10020793913216]
  このようなデータから時間変動照明下での新しいビュー合成手法を提案する。 本稿では,新しいDeepMPI表現について紹介する。 本手法は従来のMPI法と同等のパララックスとビュー依存効果を合成し, 反射率の変化と光の時間変化を同時に補間する。
  論文  参考訳（メタデータ） (2020-07-30T02:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。