論文の概要: Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination

• arxiv url: http://arxiv.org/abs/2207.13607v1
• Date: Wed, 27 Jul 2022 16:07:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-07-28 13:40:30.317523
• Title: Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination
• Title（参考訳）: グローバルイルミネーションを用いた再生可能ノベルビュー合成のためのニューラルラジアンス伝達場
• Authors: Linjie Lyu, Ayush Tewari, Thomas Leimkuehler, Marc Habermann, and Christian Theobalt
• Abstract要約: 本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
• 参考スコア（独自算出の注目度）: 63.992213016011235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given a set of images of a scene, the re-rendering of this scene from novel views and lighting conditions is an important and challenging problem in Computer Vision and Graphics. On the one hand, most existing works in Computer Vision usually impose many assumptions regarding the image formation process, e.g. direct illumination and predefined materials, to make scene parameter estimation tractable. On the other hand, mature Computer Graphics tools allow modeling of complex photo-realistic light transport given all the scene parameters. Combining these approaches, we propose a method for scene relighting under novel views by learning a neural precomputed radiance transfer function, which implicitly handles global illumination effects using novel environment maps. Our method can be solely supervised on a set of real images of the scene under a single unknown lighting condition. To disambiguate the task during training, we tightly integrate a differentiable path tracer in the training process and propose a combination of a synthesized OLAT and a real image loss. Results show that the recovered disentanglement of scene parameters improves significantly over the current state of the art and, thus, also our re-rendering results are more realistic and accurate.
• Abstract（参考訳）: シーンのイメージセットが与えられた場合、新しいビューと照明条件からこのシーンを再レンダリングすることは、コンピュータビジョンとグラフィックにおいて重要かつ困難な問題である。 一方、コンピュータビジョンの既存の作品の多くは、直接照明や予め定義された材料など、画像形成過程に関する多くの仮定を課し、シーンパラメーターの推定を抽出できるようにする。 一方、成熟したコンピュータグラフィックスツールは、シーンパラメータをすべて考慮し、複雑なフォトリアリスティック光輸送のモデリングを可能にする。 これらの手法を組み合わせることで,新しい環境マップを用いて暗黙的にグローバルな照明効果を扱えるニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実像に対してのみ監視することができる。 学習中のタスクの曖昧さを解消するため,訓練プロセスにおいて微分可能な経路トレーサを密に統合し,合成したolatと実際の画像損失の組み合わせを提案する。 その結果, 復元されたシーンパラメータのゆがみは現状よりも大幅に改善され, 再レンダリングの結果はより現実的で正確であることがわかった。

関連論文リスト

• Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation [76.96499178502759]
  Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。 最近の手法は、高品質な結果を得るためにディープラーニングに依存している。 そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T17:15:58Z)
• Scene Representation Transformer: Geometry-Free Novel View Synthesis Through Set-Latent Scene Representations [48.05445941939446]
  コンピュータビジョンにおける古典的な問題は、インタラクティブなレートで新しいビューを描画するのに使用できる少数の画像から3Dシーン表現を推論することである。 SRT(Scene Representation Transformer)は,新しい領域のRGB画像のポーズ処理やアンポーズ処理を行う手法である。 本手法は,PSNRおよび合成データセットの速度において,最近のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-25T16:18:56Z)
• Neural Relightable Participating Media Rendering [26.431106015677]
  我々は,グローバル照明の完全なシミュレーションにより,参加メディアのためのニューラル表現を学習する。 提案手法は,最先端手法と比較して,視覚的品質と数値的性能に優れる。
  論文  参考訳（メタデータ） (2021-10-25T14:36:15Z)
• Neural Ray-Tracing: Learning Surfaces and Reflectance for Relighting and View Synthesis [28.356700318603565]
  シーン間の光輸送を明示的にモデル化し、従来の統合スキームとレンダリング方程式に頼ってシーンを再構成します。 従来のレンダリング法で確立された表面表現による分解輸送を学習することにより、自然に形状、反射性、照明、シーン構成の編集が容易になる。 提案手法は,NERVデータセットのサブセットの合成およびキャプチャビューから得られたシーン編集,リライティング,リフレクタンス推定に有効である。
  論文  参考訳（メタデータ） (2021-04-28T03:47:48Z)
• Object-Centric Neural Scene Rendering [19.687759175741824]
  本稿では,物体の撮影画像から写実的シーンを構成する手法を提案する。 私たちの研究は、暗黙的にシーンの体積密度と方向発光放射をモデル化するニューラル・ラジアンス・フィールド(NeRF)に基づいています。 我々は、オブジェクトごとの光輸送を暗黙的に、照明とビューに依存したニューラルネットワークを使ってモデル化する、オブジェクト指向神経散乱関数(OSFs)を学習する。
  論文  参考訳（メタデータ） (2020-12-15T18:55:02Z)
• Neural Scene Graphs for Dynamic Scenes [57.65413768984925]
  動的シーンをシーングラフに分解する最初のニューラルレンダリング手法を提案する。 我々は暗黙的に符号化されたシーンと、単一の暗黙の関数でオブジェクトを記述するために共同で学習された潜在表現を組み合わせる。
  論文  参考訳（メタデータ） (2020-11-20T12:37:10Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)
• Neural Light Transport for Relighting and View Synthesis [70.39907425114302]
  シーンの光輸送(LT)は、異なる照明と視界の方向の下でどのように見えるかを記述する。 本研究では、既知の幾何学的性質のテクスチャアトラスに埋め込まれたLTの神経表現を学習するための半パラメトリック手法を提案する。 照明条件下では,従来観測されていた照度と視界を融合させて,同じシーンの新たなイメージを合成する方法を示す。
  論文  参考訳（メタデータ） (2020-08-09T20:13:15Z)
• Deep Reflectance Volumes: Relightable Reconstructions from Multi-View Photometric Images [59.53382863519189]
  位置決めされた点灯下で撮影された非構造画像からシーンの外観を再構築する深層学習手法を提案する。 ディープ・リフレクタンス・ボリュームの中心部には、不透明度、表面正規度、リフレクタンス・ボクセル・グリッドからなる新しいボリューム・シーンの表現がある。 学習したリフレクタンスボリュームは編集可能であり、キャプチャされたシーンの素材を修正可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-20T05:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。