論文の概要: Deep Graph Learning for Spatially-Varying Indoor Lighting Prediction

• arxiv url: http://arxiv.org/abs/2202.06300v1
• Date: Sun, 13 Feb 2022 12:49:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-16 07:45:41.211877
• Title: Deep Graph Learning for Spatially-Varying Indoor Lighting Prediction
• Title（参考訳）: 空間変動屋内照明予測のためのディープグラフ学習
• Authors: Jiayang Bai, Jie Guo, Chenchen Wan, Zhenyu Chen, Zhen He, Shan Yang, Piaopiao Yu, Yan Zhang and Yanwen Guo
• Abstract要約: 室内照明推定のためのグラフ学習フレームワークを提案する。 中心となるのは、深度を増した球状ガウスをベースとした新しい照明モデル(DSGLightと呼ばれる)である。 本手法は, 定性的にも定量的にも, 既存の手法より優れている。
• 参考スコア（独自算出の注目度）: 25.726519831985918
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lighting prediction from a single image is becoming increasingly important in many vision and augmented reality (AR) applications in which shading and shadow consistency between virtual and real objects should be guaranteed. However, this is a notoriously ill-posed problem, especially for indoor scenarios, because of the complexity of indoor luminaires and the limited information involved in 2D images. In this paper, we propose a graph learning-based framework for indoor lighting estimation. At its core is a new lighting model (dubbed DSGLight) based on depth-augmented Spherical Gaussians (SG) and a Graph Convolutional Network (GCN) that infers the new lighting representation from a single LDR image of limited field-of-view. Our lighting model builds 128 evenly distributed SGs over the indoor panorama, where each SG encoding the lighting and the depth around that node. The proposed GCN then learns the mapping from the input image to DSGLight. Compared with existing lighting models, our DSGLight encodes both direct lighting and indirect environmental lighting more faithfully and compactly. It also makes network training and inference more stable. The estimated depth distribution enables temporally stable shading and shadows under spatially-varying lighting. Through thorough experiments, we show that our method obviously outperforms existing methods both qualitatively and quantitatively.
• Abstract（参考訳）: 仮想オブジェクトと現実オブジェクトのシェーディングとシャドーの一貫性を保証する、多くのビジョンと拡張現実(ar)アプリケーションでは、単一の画像からの照明予測がますます重要になっている。 しかし、室内照明器具の複雑さと2d画像に関する情報が限られているため、特に屋内シナリオでは、この問題は悪名高い問題である。 本稿では,室内照明推定のためのグラフ学習に基づくフレームワークを提案する。 中心となるのは、深度増大した球状ガウス(SG)に基づく新しい照明モデル(DSGLight)と、視野の限られた単一のLDR画像から新しい照明表現を推論するグラフ畳み込みネットワーク(GCN)である。 我々の照明モデルは屋内パノラマ上に128個のSGを均等に分散させ、各SGがそのノードの周囲の光と深度を符号化する。 提案したGCNは入力画像からDSGLightへのマッピングを学習する。 既存の照明モデルと比較して、DSGLightは直接照明と間接的な環境照明の両方をより忠実かつコンパクトにエンコードします。 また、ネットワークトレーニングと推論をより安定させる。 推定深度分布は、空間変動照明下での時間安定な陰影と影を可能にする。 徹底的な実験を通して,本手法は定性的かつ定量的に既存手法より優れていることを示す。

関連論文リスト

• You Only Need One Color Space: An Efficient Network for Low-light Image Enhancement [50.37253008333166]
  低照度画像強調(LLIE)タスクは、劣化した低照度画像から詳細と視覚情報を復元する傾向がある。 水平/垂直インテンシティ(HVI)と呼ばれる新しいトレーニング可能なカラー空間を提案する。 輝度と色をRGBチャネルから切り離して、拡張中の不安定性を緩和するだけでなく、トレーニング可能なパラメータによって異なる照明範囲の低照度画像にも適応する。
  論文  参考訳（メタデータ） (2024-02-08T16:47:43Z)
• Low-Light Image Enhancement with Illumination-Aware Gamma Correction and Complete Image Modelling Network [69.96295927854042]
  低照度環境は通常、情報の少ない大規模な暗黒地帯に繋がる。 本稿では,ガンマ補正の有効性を深層ネットワークのモデリング能力と統合することを提案する。 指数関数演算は高い計算複雑性をもたらすので、Taylor Series を用いてガンマ補正を近似することを提案する。
  論文  参考訳（メタデータ） (2023-08-16T08:46:51Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• DiFaReli: Diffusion Face Relighting [13.000032155650835]
  野生でのワンビューリライティングに新しいアプローチを提案する。 グローバル照明やキャストシャドーなどの非拡散効果を扱うことは、長い間、顔のリライティングの課題だった。 標準ベンチマークであるMulti-PIE上での最先端性能を実現し,画像の写実的リライトを実現する。
  論文  参考訳（メタデータ） (2023-04-19T08:03:20Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• Spatially-Varying Outdoor Lighting Estimation from Intrinsics [66.04683041837784]
  本稿では,空間変動型屋外照明推定のためのニューラルネットワークSOLID-Netを提案する。 グローバルスカイ環境マップとワープ画像情報を組み合わせて,空間変動する局所照明環境マップを生成する。 合成データセットと実データセットの両方の実験は、SOLID-Netが以前の方法を大幅に上回っていることを示しています。
  論文  参考訳（メタデータ） (2021-04-09T02:28:54Z)
• Deep Lighting Environment Map Estimation from Spherical Panoramas [0.0]
  本稿では,単一のLDR単分子球状パノラマからHDR照明環境マップを推定するデータ駆動モデルを提案する。 データジェネレータと監視機構として画像ベースのリライティングを活用するために,表面形状の可用性を活用する。
  論文  参考訳（メタデータ） (2020-05-16T14:23:05Z)
• PointAR: Efficient Lighting Estimation for Mobile Augmented Reality [7.58114840374767]
  本稿では,現代のモバイルデバイス上での動作に適した効率的な照明推定パイプラインを提案する。 PointARは、モバイルカメラから撮影した1枚のRGB-D画像と、その画像中の2D位置を取得し、2次球面高調波係数を推定する。
  論文  参考訳（メタデータ） (2020-03-30T19:13:26Z)
• Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement [156.18634427704583]
  本稿では、深部ネットワークを用いた画像特異的曲線推定のタスクとして光強調を定式化するゼロ参照深部曲線推定法(Zero-DCE)を提案する。 提案手法は,DCE-Netという軽量な深層ネットワークをトレーニングし,画像のダイナミックレンジ調整のための画素幅と高次曲線を推定する。
  論文  参考訳（メタデータ） (2020-01-19T13:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。