論文の概要: Rotation-Equivariant Conditional Spherical Neural Fields for Learning a Natural Illumination Prior

• arxiv url: http://arxiv.org/abs/2206.03858v1
• Date: Tue, 7 Jun 2022 13:02:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 06:52:47.533803
• Title: Rotation-Equivariant Conditional Spherical Neural Fields for Learning a Natural Illumination Prior
• Title（参考訳）: 自然照明学習のための回転同変条件球面ニューラルフィールド
• Authors: James A. D. Gardner, Bernhard Egger, William A. P. Smith
• Abstract要約: SIRENネットワークを用いた変分自動デコーダに基づく条件付きニューラルネットワーク表現を提案する。 我々は、1.6K HDR環境マップのデータセットに基づいてモデルをトレーニングし、その逆レンダリングタスクへの適用性を示し、部分的な観測から環境マップの完成度を示す。
• 参考スコア（独自算出の注目度）: 24.82786494623801
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inverse rendering is an ill-posed problem. Previous work has sought to resolve this by focussing on priors for object or scene shape or appearance. In this work, we instead focus on a prior for natural illuminations. Current methods rely on spherical harmonic lighting or other generic representations and, at best, a simplistic prior on the parameters. We propose a conditional neural field representation based on a variational auto-decoder with a SIREN network and, extending Vector Neurons, build equivariance directly into the network. Using this we develop a rotation-equivariant, high dynamic range (HDR) neural illumination model that is compact and able to express complex, high-frequency features of natural environment maps. Training our model on a curated dataset of 1.6K HDR environment maps of natural scenes, we compare it against traditional representations, demonstrate its applicability for an inverse rendering task and show environment map completion from partial observations. A PyTorch implementation, our dataset and trained models can be found at jadgardner.github.io/RENI.
• Abstract（参考訳）: 逆レンダリングは不適切な問題です。 以前の研究では、オブジェクトやシーンの形状や外観の優先順位に注目して、この問題を解決しようと試みている。 本研究では, 自然光の先行点に焦点をあてる。 現在の手法は球面調和照明や他の一般的な表現に依存しており、少なくともパラメータに先立って単純である。 本稿では,SIRENネットワークを用いた変分自動デコーダに基づく条件付きニューラルネットワーク表現を提案する。 これを用いて,自然環境マップの複雑かつ高周波な特徴を表現できる,回転同変高ダイナミックレンジ(hdr)ニューラル照明モデルを開発した。 自然シーンの1.6k hdr環境マップのキュレートデータセット上でモデルをトレーニングし、従来の表現と比較し、逆レンダリングタスクに適用性を示し、部分的な観察から環境マップの完成度を示す。 PyTorchの実装、データセット、トレーニングされたモデルはjadgardner.github.io/RENIで見ることができる。

関連論文リスト

• Environment Maps Editing using Inverse Rendering and Adversarial Implicit Functions [8.20594611891252]
  逆微分可能レンダリングアーキテクチャを用いたハイダイナミックレンジ環境マップの編集は複雑な逆問題である。 そこで本研究では,HDR環境マップを識別可能なレンダリングを用いて編集し,空間性や値のばらつきに対処する手法を提案する。 我々の手法は、新しい光源でレンダリングされた環境マップを推定するなど、興味深いタスクへの道を開くことができる。
  論文  参考訳（メタデータ） (2024-10-24T10:27:29Z)
• Neural Differential Appearance Equations [14.053608981988793]
  本研究では,動的外観テクスチャを時変時空間で再現する手法を提案する。 我々は、ニューラルネットワークの常微分方程式を用いて、ターゲットの例から外見の根底となるダイナミクスを学習する。 実験の結果,本手法は現実的かつ一貫性のある結果をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-09-23T11:29:19Z)
• RENI++ A Rotation-Equivariant, Scale-Invariant, Natural Illumination Prior [22.675951948615825]
  逆レンダリングは不適切な問題である。 現在の手法は球面調和照明や他の一般的な表現に依存している。 等価オートデコーダに基づく条件付きニューラルネットワーク表現を提案する。 我々は、1.6K HDR環境マップのデータセットに基づいてモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-15T20:48:26Z)
• Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
  我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。 提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。 現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
  論文  参考訳（メタデータ） (2023-09-15T14:19:36Z)
• Relightable and Animatable Neural Avatar from Sparse-View Video [66.77811288144156]
  本稿では、未知の照明下でのダイナミックな人間のスパースビュー(あるいはモノクラーク)ビデオから、リライザブルでアニマタブルなニューラルアバターを作成するという課題に取り組む。
  論文  参考訳（メタデータ） (2023-08-15T17:42:39Z)
• NeAI: A Pre-convoluted Representation for Plug-and-Play Neural Ambient Illumination [28.433403714053103]
  ニューラル環境照明(NeAI)という枠組みを提案する。 NeAIは、物理的な方法で複雑な照明を扱うための照明モデルとしてNeRF(Neural Radiance Fields)を使用している。 実験は、以前の作品と比較して、ノベルビューレンダリングの優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-04-18T06:32:30Z)
• NeRF-DS: Neural Radiance Fields for Dynamic Specular Objects [63.04781030984006]
  ダイナミック・ニューラル・ラジアンス・フィールド(英語版)(NeRF)は、動的シーンの単眼RGBビデオからフォトリアリスティック・ノベル・ビュー・イメージをレンダリングできる強力なアルゴリズムである。 観測空間の表面位置と配向に条件付される神経放射場関数を再構成することにより,その限界に対処する。 本研究では,現実的な環境下での異なる移動スペクトルオブジェクトの自己合成データセットを用いて,新しいビュー合成品質に基づくモデルの評価を行った。
  論文  参考訳（メタデータ） (2023-03-25T11:03:53Z)
• Generalizable Patch-Based Neural Rendering [46.41746536545268]
  未知のシーンの新たなビューを合成できるモデル学習のための新しいパラダイムを提案する。 本手法は,シーンから採取したパッチの集合からのみ,新規シーンにおける対象光線の色を直接予測することができる。 本手法は,従来よりも少ないデータでトレーニングされた場合であっても,目立たないシーンの新たなビュー合成において,最先端のビュー合成よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-21T17:57:04Z)
• Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
  本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。 NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。 提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
  論文  参考訳（メタデータ） (2022-02-24T01:31:29Z)
• RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs [79.00855490550367]
  我々は,多くの入力ビューが利用可能である場合,NeRFは見えない視点のフォトリアリスティックレンダリングを生成することができることを示す。 我々は、未観測の視点からレンダリングされたパッチの幾何学と外観を規則化することで、この問題に対処する。 我々のモデルは、1つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-12-01T18:59:46Z)
• NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination [60.89737319987051]
  照明条件が不明な物体の多視点像から物体の形状と空間的反射率を復元する問題に対処する。 これにより、任意の環境照明下でのオブジェクトの新たなビューのレンダリングや、オブジェクトの材料特性の編集が可能になる。
  論文  参考訳（メタデータ） (2021-06-03T16:18:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。