論文の概要: Spatially and color consistent environment lighting estimation using
deep neural networks for mixed reality
- arxiv url: http://arxiv.org/abs/2108.07903v1
- Date: Tue, 17 Aug 2021 23:03:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-19 14:31:50.584050
- Title: Spatially and color consistent environment lighting estimation using
deep neural networks for mixed reality
- Title（参考訳）: 深層ニューラルネットワークを用いた複合現実感のための空間的・カラー整合環境照明推定
- Authors: Bruno Augusto Dorta Marques, Esteban Walter Gonzalez Clua, Anselmo
Antunes Montenegro, Cristina Nader Vasconcelos
- Abstract要約: 本稿では,複合現実環境における複雑な照明を推定するためのCNNモデルを提案する。
我々は,RGB画像を入力し,環境照明をリアルタイムで認識する新しいCNNアーキテクチャを提案する。
CNNアーキテクチャは,SH照明係数を比較する際に,平均2乗誤差(MSE)をnum7.85e-04の平均2乗誤差(MSE)で予測できることを示す。
- 参考スコア（独自算出の注目度）: 1.1470070927586016
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The representation of consistent mixed reality (XR) environments requires
adequate real and virtual illumination composition in real-time. Estimating the
lighting of a real scenario is still a challenge. Due to the ill-posed nature
of the problem, classical inverse-rendering techniques tackle the problem for
simple lighting setups. However, those assumptions do not satisfy the current
state-of-art in computer graphics and XR applications. While many recent works
solve the problem using machine learning techniques to estimate the environment
light and scene's materials, most of them are limited to geometry or previous
knowledge. This paper presents a CNN-based model to estimate complex lighting
for mixed reality environments with no previous information about the scene. We
model the environment illumination using a set of spherical harmonics (SH)
environment lighting, capable of efficiently represent area lighting. We
propose a new CNN architecture that inputs an RGB image and recognizes, in
real-time, the environment lighting. Unlike previous CNN-based lighting
estimation methods, we propose using a highly optimized deep neural network
architecture, with a reduced number of parameters, that can learn high complex
lighting scenarios from real-world high-dynamic-range (HDR) environment images.
We show in the experiments that the CNN architecture can predict the
environment lighting with an average mean squared error (MSE) of \num{7.85e-04}
when comparing SH lighting coefficients. We validate our model in a variety of
mixed reality scenarios. Furthermore, we present qualitative results comparing
relights of real-world scenes.
- Abstract（参考訳）: 一貫性のある混合現実(XR)環境の表現には、リアルタイムに適切なリアルタイムおよび仮想照明構成が必要である。
実際のシナリオの照明を見積もるのは依然として課題です。
問題の性質の悪さから、古典的な逆レンダリング技術は、単純な照明装置の問題に対処する。
しかし、これらの仮定はコンピュータグラフィックスやXRアプリケーションにおける現在の最先端を満たさない。
近年の多くの研究は、環境光やシーンの素材を推定するために機械学習技術を用いてこの問題を解決するが、そのほとんどは幾何学的知識やそれ以前の知識に限られている。
本稿では,複合現実環境における複雑な照明を推定するためのcnnモデルについて述べる。
我々は,領域照明を効率よく表現できる球面調和(SH)環境照明の集合を用いて,環境照明をモデル化する。
我々は,RGB画像を入力し,環境照明をリアルタイムで認識する新しいCNNアーキテクチャを提案する。
従来のCNNベースの照明推定手法とは異なり,現実の高ダイナミックレンジ(HDR)環境画像から複雑な照明シナリオを学習可能なパラメータの少ない,高度に最適化されたディープニューラルネットワークアーキテクチャを提案する。
実験では,sh照明係数を比較すると,平均平均2乗誤差 (mse) が7.85e-04} となるcnnアーキテクチャが環境照明を予測できることを示した。
私たちは、さまざまな混合現実シナリオでモデルを検証する。
さらに,実世界の場面の再現性を比較する質的結果を示す。
関連論文リスト
- CleAR: Robust Context-Guided Generative Lighting Estimation for Mobile Augmented Reality [6.292933471495322]
我々は,360$circ$画像のフォーマットで高品質な環境マップを作成できるCleARと呼ばれるジェネレーティブ照明推定システムを提案する。
エンドツーエンドの生成推定には3.2秒の速さで、最先端の手法を110倍に向上させる。
論文 参考訳（メタデータ） (2024-11-04T15:37:18Z) - NieR: Normal-Based Lighting Scene Rendering [17.421326290704844]
NieR(Normal-based Lighting Scene Rendering)は、様々な材料表面における光反射のニュアンスを考慮した新しいフレームワークである。
本稿では,光の反射特性を捉えたLD(Light Decomposition)モジュールについて述べる。
また、スパースガウス表現の限界を克服するためにHNGD (Hierarchical Normal Gradient Densification) モジュールを提案する。
論文 参考訳（メタデータ） (2024-05-21T14:24:43Z) - Low-Light Image Enhancement with Illumination-Aware Gamma Correction and
Complete Image Modelling Network [69.96295927854042]
低照度環境は通常、情報の少ない大規模な暗黒地帯に繋がる。
本稿では,ガンマ補正の有効性を深層ネットワークのモデリング能力と統合することを提案する。
指数関数演算は高い計算複雑性をもたらすので、Taylor Series を用いてガンマ補正を近似することを提案する。
論文 参考訳（メタデータ） (2023-08-16T08:46:51Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳（メタデータ） (2023-05-07T20:36:29Z) - EverLight: Indoor-Outdoor Editable HDR Lighting Estimation [9.443561684223514]
本稿では、パラメトリック光モデルと360degパノラマを組み合わせ、レンダリングエンジンでHDRIとして使用できる手法を提案する。
我々の表現では、ユーザは光の方向、強度、数などを簡単に編集してシェーディングに影響を与えながら、リッチで複雑なリフレクションを提供しながら、編集とシームレスにブレンドすることができる。
論文 参考訳（メタデータ） (2023-04-26T00:20:59Z) - Neural Radiance Transfer Fields for Relightable Novel-view Synthesis
with Global Illumination [63.992213016011235]
本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。
本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。
その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
論文 参考訳（メタデータ） (2022-07-27T16:07:48Z) - Sparse Needlets for Lighting Estimation with Spherical Transport Loss [89.52531416604774]
NeedleLightは、新しい照明推定モデルであり、必要に応じて照明を表現し、周波数領域と空間領域を共同で照明推定することができる。
大規模な実験により、NeedleLightは、最先端の手法と比較して、複数の評価指標で常に優れた照明推定を実現していることがわかった。
論文 参考訳（メタデータ） (2021-06-24T15:19:42Z) - Spatially-Varying Outdoor Lighting Estimation from Intrinsics [66.04683041837784]
本稿では,空間変動型屋外照明推定のためのニューラルネットワークSOLID-Netを提案する。
グローバルスカイ環境マップとワープ画像情報を組み合わせて,空間変動する局所照明環境マップを生成する。
合成データセットと実データセットの両方の実験は、SOLID-Netが以前の方法を大幅に上回っていることを示しています。
論文 参考訳（メタデータ） (2021-04-09T02:28:54Z) - Object-based Illumination Estimation with Rendering-aware Neural
Networks [56.01734918693844]
個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。
推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
論文 参考訳（メタデータ） (2020-08-06T08:23:19Z) - IllumiNet: Transferring Illumination from Planar Surfaces to Virtual
Objects in Augmented Reality [38.83696624634213]
本稿では,学習による実環境における仮想物体の照明推定手法を提案する。
一つのRGB画像が与えられた場合、シーンの平面面から抽出した照明特徴を所望のジオメトリに転送することで、信頼度の高い仮想オブジェクトを直接推測する。
論文 参考訳（メタデータ） (2020-07-12T13:11:14Z) - Deep Lighting Environment Map Estimation from Spherical Panoramas [0.0]
本稿では,単一のLDR単分子球状パノラマからHDR照明環境マップを推定するデータ駆動モデルを提案する。
データジェネレータと監視機構として画像ベースのリライティングを活用するために,表面形状の可用性を活用する。
論文 参考訳（メタデータ） (2020-05-16T14:23:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。