論文の概要: Neural Light Transport for Relighting and View Synthesis

• arxiv url: http://arxiv.org/abs/2008.03806v3
• Date: Wed, 20 Jan 2021 15:45:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 04:43:22.510018
• Title: Neural Light Transport for Relighting and View Synthesis
• Title（参考訳）: 照明とビュー合成のための神経光輸送
• Authors: Xiuming Zhang, Sean Fanello, Yun-Ta Tsai, Tiancheng Sun, Tianfan Xue, Rohit Pandey, Sergio Orts-Escolano, Philip Davidson, Christoph Rhemann, Paul Debevec, Jonathan T. Barron, Ravi Ramamoorthi, William T. Freeman
• Abstract要約: シーンの光輸送(LT)は、異なる照明と視界の方向の下でどのように見えるかを記述する。 本研究では、既知の幾何学的性質のテクスチャアトラスに埋め込まれたLTの神経表現を学習するための半パラメトリック手法を提案する。 照明条件下では,従来観測されていた照度と視界を融合させて,同じシーンの新たなイメージを合成する方法を示す。
• 参考スコア（独自算出の注目度）: 70.39907425114302
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The light transport (LT) of a scene describes how it appears under different lighting and viewing directions, and complete knowledge of a scene's LT enables the synthesis of novel views under arbitrary lighting. In this paper, we focus on image-based LT acquisition, primarily for human bodies within a light stage setup. We propose a semi-parametric approach to learn a neural representation of LT that is embedded in the space of a texture atlas of known geometric properties, and model all non-diffuse and global LT as residuals added to a physically-accurate diffuse base rendering. In particular, we show how to fuse previously seen observations of illuminants and views to synthesize a new image of the same scene under a desired lighting condition from a chosen viewpoint. This strategy allows the network to learn complex material effects (such as subsurface scattering) and global illumination, while guaranteeing the physical correctness of the diffuse LT (such as hard shadows). With this learned LT, one can relight the scene photorealistically with a directional light or an HDRI map, synthesize novel views with view-dependent effects, or do both simultaneously, all in a unified framework using a set of sparse, previously seen observations. Qualitative and quantitative experiments demonstrate that our neural LT (NLT) outperforms state-of-the-art solutions for relighting and view synthesis, without separate treatment for both problems that prior work requires.
• Abstract（参考訳）: シーンの光輸送(LT)は、異なる照明と視界方向の下でどのように見えるかを記述し、シーンのLTに関する完全な知識は、任意の照明下での新規なビューの合成を可能にする。 本稿では,光舞台環境における人体に対するイメージベースLT取得に着目した。 我々は、既知の幾何学的性質のテクスチャアトラス空間に埋め込まれたltの神経表現を学習し、物理的に正確な拡散ベースレンダリングに追加された残差として全ての非拡散および大域的ltをモデル化する半パラメトリックアプローチを提案する。 特に,これまで見てきた照明器具やビューの観察と融合して,所望の照明条件下で同じシーンの新しいイメージを合成する方法を,選択した視点から示す。 この戦略により、拡散LT(ハードシャドウなど)の物理的正しさを保証しながら、ネットワークは複雑な物質効果(地表面散乱など)と大域照明を学習することができる。 この学習LTでは、方向光やHDRIマップでシーンをリアルにリライトしたり、ビュー依存効果で新しいビューを合成したり、あるいはこれらを同時に行うことができる。 定性的かつ定量的な実験により、我々のニューラルLT(NLT)は、以前の作業が必要とする2つの問題を別々に扱うことなく、リライティングとビュー合成のための最先端のソリューションより優れていることが示された。

関連論文リスト

• GS-Phong: Meta-Learned 3D Gaussians for Relightable Novel View Synthesis [63.5925701087252]
  本稿では,3次元ガウス点の集合を用いて,点光で照らされたシーンを表現する手法を提案する。 Blinn-Phongモデルにインスパイアされた我々の手法は、シーンを周囲、拡散、および特異成分に分解する。 照明条件に依存しない幾何学的情報の分解を容易にするため,新しい二段階最適化に基づくメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-31T13:48:54Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Light Field Neural Rendering [47.7586443731997]
  幾何再構成に基づく手法はスパースビューのみを必要とするが、非ランベルト効果を正確にモデル化することはできない。 強みを組み合わせたモデルを導入し、これらの2つの方向の制限を緩和する。 我々のモデルは、複数の前方向きデータセットと360degデータセットで最先端のモデルより優れています。
  論文  参考訳（メタデータ） (2021-12-17T18:58:05Z)
• Neural Point Light Fields [80.98651520818785]
  本稿では,スパース点雲上に存在する光の場を暗黙的に表現するニューラルポイント光場について紹介する。 これらの点光場は、光線方向と局所点特徴近傍の関数として機能し、光場条件付きトレーニング画像を高密度の被写体とパララックスを介さずに補間することができる。
  論文  参考訳（メタデータ） (2021-12-02T18:20:10Z)
• Neural Ray-Tracing: Learning Surfaces and Reflectance for Relighting and View Synthesis [28.356700318603565]
  シーン間の光輸送を明示的にモデル化し、従来の統合スキームとレンダリング方程式に頼ってシーンを再構成します。 従来のレンダリング法で確立された表面表現による分解輸送を学習することにより、自然に形状、反射性、照明、シーン構成の編集が容易になる。 提案手法は,NERVデータセットのサブセットの合成およびキャプチャビューから得られたシーン編集,リライティング,リフレクタンス推定に有効である。
  論文  参考訳（メタデータ） (2021-04-28T03:47:48Z)
• Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
  光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。 本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。 我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
  論文  参考訳（メタデータ） (2020-10-17T23:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。