論文の概要: Spatiotemporally Consistent HDR Indoor Lighting Estimation

• arxiv url: http://arxiv.org/abs/2305.04374v1
• Date: Sun, 7 May 2023 20:36:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 16:13:38.180693
• Title: Spatiotemporally Consistent HDR Indoor Lighting Estimation
• Title（参考訳）: 時空間連続HDR室内照明推定
• Authors: Zhengqin Li, Li Yu, Mikhail Okunev, Manmohan Chandraker, Zhao Dong
• Abstract要約: 本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
• 参考スコア（独自算出の注目度）: 66.26786775252592
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a physically-motivated deep learning framework to solve a general version of the challenging indoor lighting estimation problem. Given a single LDR image with a depth map, our method predicts spatially consistent lighting at any given image position. Particularly, when the input is an LDR video sequence, our framework not only progressively refines the lighting prediction as it sees more regions, but also preserves temporal consistency by keeping the refinement smooth. Our framework reconstructs a spherical Gaussian lighting volume (SGLV) through a tailored 3D encoder-decoder, which enables spatially consistent lighting prediction through volume ray tracing, a hybrid blending network for detailed environment maps, an in-network Monte-Carlo rendering layer to enhance photorealism for virtual object insertion, and recurrent neural networks (RNN) to achieve temporally consistent lighting prediction with a video sequence as the input. For training, we significantly enhance the OpenRooms public dataset of photorealistic synthetic indoor scenes with around 360K HDR environment maps of much higher resolution and 38K video sequences, rendered with GPU-based path tracing. Experiments show that our framework achieves lighting prediction with higher quality compared to state-of-the-art single-image or video-based methods, leading to photorealistic AR applications such as object insertion.
• Abstract（参考訳）: 本稿では,屋内照明推定問題に対する一般バージョンの解法として,身体的動機づけによる深層学習フレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 特に、入力がLDRビデオシーケンスである場合、我々のフレームワークは、より多くの領域を見ることによって照明予測を徐々に洗練するだけでなく、改善を円滑に保ちながら時間的一貫性を保つ。 本研究では,3次元エンコーダデコーダを用いて球状ガウス照明量(SGLV)を再構成し,空間的に一貫した照明予測を可能にするとともに,詳細な環境マップのハイブリッドブレンディングネットワーク,仮想オブジェクト挿入のための光リアリズムを向上するネットワーク内モンテカルロレンダリング層,入力としてビデオシーケンスと時間的に一貫した照明予測を実現するリカレントニューラルネットワーク(RNN)を提案する。 トレーニングでは、より高解像度の360K HDR環境マップと、GPUベースのパストレースでレンダリングされた38Kビデオシーケンスを用いて、フォトリアリスティックな室内シーンのOpenRooms公開データセットを著しく強化する。 実験により,最先端の単一画像や映像ベースの手法と比較して,高品質な照明予測を実現し,オブジェクト挿入などのフォトリアリスティックarアプリケーションを実現することを実証した。

関連論文リスト

• PBIR-NIE: Glossy Object Capture under Non-Distant Lighting [30.325872237020395]
  グロッシーオブジェクトは自然光下での多視点入力画像から3次元再構成を行う上で重要な課題となる。 PBIR-NIEは, 物体の形状, 材料特性, 周囲の照明を均等に捉えるために設計された逆レンダリングフレームワークである。
  論文  参考訳（メタデータ） (2024-08-13T13:26:24Z)
• Relighting Scenes with Object Insertions in Neural Radiance Fields [24.18050535794117]
  本研究では,物体のNeRFをシーンのNeRFに挿入するための新しいNeRFパイプラインを提案する。 提案手法は,広範囲な実験評価において,現実的な照明効果を実現する。
  論文  参考訳（メタデータ） (2024-06-21T00:58:58Z)
• Relightable 3D Gaussians: Realistic Point Cloud Relighting with BRDF Decomposition and Ray Tracing [21.498078188364566]
  フォトリアリスティックなリライトを実現するために,新しい微分可能な点ベースレンダリングフレームワークを提案する。 提案したフレームワークは、メッシュベースのグラフィクスパイプラインを、編集、トレース、リライトを可能にするポイントベースのパイプラインで革新する可能性を示している。
  論文  参考訳（メタデータ） (2023-11-27T18:07:58Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• Learning-based Inverse Rendering of Complex Indoor Scenes with Differentiable Monte Carlo Raytracing [27.96634370355241]
  本研究はモンテカルロ線トレーシングと重要サンプリングを組み合わせたエンドツーエンドの学習ベースの逆レンダリングフレームワークを提案する。 このフレームワークは1枚の画像を入力として、基礎となる幾何学、空間的に変化する照明、およびフォトリアリスティックな材料を共同で復元する。
  論文  参考訳（メタデータ） (2022-11-06T03:34:26Z)
• Neural Light Field Estimation for Street Scenes with Differentiable Virtual Object Insertion [129.52943959497665]
  既存の屋外照明推定の作業は通常、シーン照明を環境マップに単純化する。 単一画像から5次元HDR光場を推定するニューラルネットワークを提案する。 自律運転アプリケーションにおけるARオブジェクト挿入の利点を示す。
  論文  参考訳（メタデータ） (2022-08-19T17:59:16Z)
• Deep Graph Learning for Spatially-Varying Indoor Lighting Prediction [25.726519831985918]
  室内照明推定のためのグラフ学習フレームワークを提案する。 中心となるのは、深度を増した球状ガウスをベースとした新しい照明モデル(DSGLightと呼ばれる)である。 本手法は, 定性的にも定量的にも, 既存の手法より優れている。
  論文  参考訳（メタデータ） (2022-02-13T12:49:37Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。