論文の概要: RENI++ A Rotation-Equivariant, Scale-Invariant, Natural Illumination Prior

• arxiv url: http://arxiv.org/abs/2311.09361v1
• Date: Wed, 15 Nov 2023 20:48:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 17:42:12.893080
• Title: RENI++ A Rotation-Equivariant, Scale-Invariant, Natural Illumination Prior
• Title（参考訳）: RENI++ - 回転不変、スケール不変、自然照度先行
• Authors: James A. D. Gardner, Bernhard Egger, William A. P. Smith
• Abstract要約: 逆レンダリングは不適切な問題である。 現在の手法は球面調和照明や他の一般的な表現に依存している。 等価オートデコーダに基づく条件付きニューラルネットワーク表現を提案する。 我々は、1.6K HDR環境マップのデータセットに基づいてモデルをトレーニングする。
• 参考スコア（独自算出の注目度）: 22.675951948615825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inverse rendering is an ill-posed problem. Previous work has sought to resolve this by focussing on priors for object or scene shape or appearance. In this work, we instead focus on a prior for natural illuminations. Current methods rely on spherical harmonic lighting or other generic representations and, at best, a simplistic prior on the parameters. This results in limitations for the inverse setting in terms of the expressivity of the illumination conditions, especially when taking specular reflections into account. We propose a conditional neural field representation based on a variational auto-decoder and a transformer decoder. We extend Vector Neurons to build equivariance directly into our architecture, and leveraging insights from depth estimation through a scale-invariant loss function, we enable the accurate representation of High Dynamic Range (HDR) images. The result is a compact, rotation-equivariant HDR neural illumination model capable of capturing complex, high-frequency features in natural environment maps. Training our model on a curated dataset of 1.6K HDR environment maps of natural scenes, we compare it against traditional representations, demonstrate its applicability for an inverse rendering task and show environment map completion from partial observations. We share our PyTorch implementation, dataset and trained models at https://github.com/JADGardner/ns_reni
• Abstract（参考訳）: 逆レンダリングは不適切な問題です。 以前の研究では、オブジェクトやシーンの形状や外観の優先順位に注目して、この問題を解決しようと試みている。 本研究では, 自然光の先行点に焦点をあてる。 現在の手法は球面調和照明や他の一般的な表現に依存しており、少なくともパラメータに先立って単純である。 これにより、特に鏡面反射を考慮した場合に、照明条件の表現性の観点からの逆設定の限界が生じる。 本稿では,変分オートデコーダと変分デコーダに基づく条件付きニューラルネットワーク表現を提案する。 我々は、ベクトルニューロンを拡張し、アーキテクチャに直接同値を構築し、スケール不変の損失関数による深さ推定からの洞察を活用し、ハイダイナミックレンジ(HDR)画像の正確な表現を可能にする。 その結果、コンパクトで回転同値なhdrニューラル照明モデルが、自然環境マップの複雑な高周波特徴を捉えることができる。 自然シーンの1.6k hdr環境マップのキュレートデータセット上でモデルをトレーニングし、従来の表現と比較し、逆レンダリングタスクに適用性を示し、部分的な観察から環境マップの完成度を示す。 PyTorchの実装、データセット、トレーニングされたモデルをhttps://github.com/JADGardner/ns_reniで共有しています。

関連論文リスト

• Environment Maps Editing using Inverse Rendering and Adversarial Implicit Functions [8.20594611891252]
  逆微分可能レンダリングアーキテクチャを用いたハイダイナミックレンジ環境マップの編集は複雑な逆問題である。 そこで本研究では,HDR環境マップを識別可能なレンダリングを用いて編集し,空間性や値のばらつきに対処する手法を提案する。 我々の手法は、新しい光源でレンダリングされた環境マップを推定するなど、興味深いタスクへの道を開くことができる。
  論文  参考訳（メタデータ） (2024-10-24T10:27:29Z)
• SpecNeRF: Gaussian Directional Encoding for Specular Reflections [43.110815974867315]
  近接場照明条件下でのビュー依存効果をより良くモデル化するための学習可能なガウス方向符号化法を提案する。 我々の新しい指向性符号化は、近接場照明の空間的に変化する性質を捉え、事前フィルタされた環境マップの挙動をエミュレートする。 これにより、粗さ係数の異なる任意の3次元位置において、事前変換された明色を効率よく評価することができる。
  論文  参考訳（メタデータ） (2023-12-20T15:20:25Z)
• Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
  我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。 提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。 現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
  論文  参考訳（メタデータ） (2023-09-15T14:19:36Z)
• Relightable and Animatable Neural Avatar from Sparse-View Video [66.77811288144156]
  本稿では、未知の照明下でのダイナミックな人間のスパースビュー(あるいはモノクラーク)ビデオから、リライザブルでアニマタブルなニューラルアバターを作成するという課題に取り組む。
  論文  参考訳（メタデータ） (2023-08-15T17:42:39Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• NeRF-DS: Neural Radiance Fields for Dynamic Specular Objects [63.04781030984006]
  ダイナミック・ニューラル・ラジアンス・フィールド(英語版)(NeRF)は、動的シーンの単眼RGBビデオからフォトリアリスティック・ノベル・ビュー・イメージをレンダリングできる強力なアルゴリズムである。 観測空間の表面位置と配向に条件付される神経放射場関数を再構成することにより,その限界に対処する。 本研究では,現実的な環境下での異なる移動スペクトルオブジェクトの自己合成データセットを用いて,新しいビュー合成品質に基づくモデルの評価を行った。
  論文  参考訳（メタデータ） (2023-03-25T11:03:53Z)
• CROSSFIRE: Camera Relocalization On Self-Supervised Features from an Implicit Representation [3.565151496245487]
  我々は,あるシーンの暗黙の地図としてニューラル・ラジアンス・フィールドを使用し,この表現に適したカメラ再配置を提案する。 提案手法は,ナビゲーション中に1台のRGBカメラを用いて,デバイスの正確な位置をリアルタイムで計算することができる。
  論文  参考訳（メタデータ） (2023-03-08T20:22:08Z)
• Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion [54.151979979158085]
  提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
  論文  参考訳（メタデータ） (2022-11-21T17:42:42Z)
• Rotation-Equivariant Conditional Spherical Neural Fields for Learning a Natural Illumination Prior [24.82786494623801]
  SIRENネットワークを用いた変分自動デコーダに基づく条件付きニューラルネットワーク表現を提案する。 我々は、1.6K HDR環境マップのデータセットに基づいてモデルをトレーニングし、その逆レンダリングタスクへの適用性を示し、部分的な観測から環境マップの完成度を示す。
  論文  参考訳（メタデータ） (2022-06-07T13:02:49Z)
• NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination [60.89737319987051]
  照明条件が不明な物体の多視点像から物体の形状と空間的反射率を復元する問題に対処する。 これにより、任意の環境照明下でのオブジェクトの新たなビューのレンダリングや、オブジェクトの材料特性の編集が可能になる。
  論文  参考訳（メタデータ） (2021-06-03T16:18:01Z)
• Deep Lighting Environment Map Estimation from Spherical Panoramas [0.0]
  本稿では,単一のLDR単分子球状パノラマからHDR照明環境マップを推定するデータ駆動モデルを提案する。 データジェネレータと監視機構として画像ベースのリライティングを活用するために,表面形状の可用性を活用する。
  論文  参考訳（メタデータ） (2020-05-16T14:23:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。