論文の概要: Deep Lighting Environment Map Estimation from Spherical Panoramas

• arxiv url: http://arxiv.org/abs/2005.08000v1
• Date: Sat, 16 May 2020 14:23:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 13:49:59.740586
• Title: Deep Lighting Environment Map Estimation from Spherical Panoramas
• Title（参考訳）: 球状パノラマからの深部照明環境マップの推定
• Authors: Vasileios Gkitsas (1) and Nikolaos Zioulis (1 and 2) and Federico Alvarez (2) and Dimitrios Zarpalas (1) and Petros Daras (1) ((1) Centre for Research and Technology Hellas, (2) Universidad Politecnica de Madrid)
• Abstract要約: 本稿では,単一のLDR単分子球状パノラマからHDR照明環境マップを推定するデータ駆動モデルを提案する。 データジェネレータと監視機構として画像ベースのリライティングを活用するために,表面形状の可用性を活用する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating a scene's lighting is a very important task when compositing synthetic content within real environments, with applications in mixed reality and post-production. In this work we present a data-driven model that estimates an HDR lighting environment map from a single LDR monocular spherical panorama. In addition to being a challenging and ill-posed problem, the lighting estimation task also suffers from a lack of facile illumination ground truth data, a fact that hinders the applicability of data-driven methods. We approach this problem differently, exploiting the availability of surface geometry to employ image-based relighting as a data generator and supervision mechanism. This relies on a global Lambertian assumption that helps us overcome issues related to pre-baked lighting. We relight our training data and complement the model's supervision with a photometric loss, enabled by a differentiable image-based relighting technique. Finally, since we predict spherical spectral coefficients, we show that by imposing a distribution prior on the predicted coefficients, we can greatly boost performance. Code and models available at https://vcl3d.github.io/DeepPanoramaLighting.
• Abstract（参考訳）: シーンの照明を推定することは、現実の環境で合成されたコンテンツを合成する際に非常に重要なタスクである。 本研究では,単一のLDR単分子球状パノラマからHDR照明環境マップを推定するデータ駆動モデルを提案する。 照明推定タスクは、困難かつ不適切な問題であるだけでなく、データ駆動方式の適用性を妨げている、脆弱な照明基礎真理データの欠如にも悩まされる。 データ生成機構と監視機構として画像ベースのリライティングを採用するために,表面形状の可用性を活用して,この問題にアプローチする。 これは、プレベイクされた照明に関する問題を克服するのに役立つ、グローバルなランゲル主義の仮定に依存している。 我々は、トレーニングデータをリライトし、識別可能な画像ベースのリライト技術によって可能となる測光損失でモデルの監督を補完する。 最後に, 球面スペクトル係数を予測することにより, 予測係数に先立って分布を付与することにより, 性能を大幅に向上させることができることを示す。 コードとモデルはhttps://vcl3d.github.io/deeppanoramalightingで入手できる。

関連論文リスト

• Physically-Based Photometric Bundle Adjustment in Non-Lambertian Environments [59.96101889715997]
  光度バンドル調整(PBA)は、ランベルトの世界を仮定してカメラのポーズと3次元幾何学を推定するのに広く用いられる。 光度一貫性の仮定は、現実の環境では非拡散反射が一般的であるため、しばしば違反される。 そこで本研究では,この問題を解決するための物理ベースPBA法を提案する。
  論文  参考訳（メタデータ） (2024-09-18T10:22:07Z)
• SplitNeRF: Split Sum Approximation Neural Field for Joint Geometry, Illumination, and Material Estimation [65.99344783327054]
  本稿では, 実世界の物体の形状, 材料特性, 照明特性を推定してデジタル化する手法を提案する。 提案手法は,実時間物理ベースのレンダリングに画像ベースの照明で使用される分割和近似を,レーダランスニューラルネットワーク(NeRF)パイプラインに組み込む。 提案手法は,NVIDIA A100 GPUを1つのGPUで1時間に1ドル程度のトレーニングをした後で,最先端のリライト品質を実現することができる。
  論文  参考訳（メタデータ） (2023-11-28T10:36:36Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• EverLight: Indoor-Outdoor Editable HDR Lighting Estimation [9.443561684223514]
  本稿では、パラメトリック光モデルと360degパノラマを組み合わせ、レンダリングエンジンでHDRIとして使用できる手法を提案する。 我々の表現では、ユーザは光の方向、強度、数などを簡単に編集してシェーディングに影響を与えながら、リッチで複雑なリフレクションを提供しながら、編集とシームレスにブレンドすることができる。
  論文  参考訳（メタデータ） (2023-04-26T00:20:59Z)
• A CNN Based Approach for the Point-Light Photometric Stereo Problem [26.958763133729846]
  本稿では、遠距離場光度ステレオにおける深部ニューラルネットワークの最近の改良を活用して、現実的な仮定を処理できるCNNベースのアプローチを提案する。 われわれのアプローチは、DiLiGenT実世界のデータセットの最先端よりも優れている。 近距離点光源PSデータに対する我々のアプローチの性能を測定するため、LUCESを「近距離点光のための最初の実世界のデータセット」として紹介する。
  論文  参考訳（メタデータ） (2022-10-10T12:57:12Z)
• Neural Light Field Estimation for Street Scenes with Differentiable Virtual Object Insertion [129.52943959497665]
  既存の屋外照明推定の作業は通常、シーン照明を環境マップに単純化する。 単一画像から5次元HDR光場を推定するニューラルネットワークを提案する。 自律運転アプリケーションにおけるARオブジェクト挿入の利点を示す。
  論文  参考訳（メタデータ） (2022-08-19T17:59:16Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• Spatially and color consistent environment lighting estimation using deep neural networks for mixed reality [1.1470070927586016]
  本稿では,複合現実環境における複雑な照明を推定するためのCNNモデルを提案する。 我々は,RGB画像を入力し,環境照明をリアルタイムで認識する新しいCNNアーキテクチャを提案する。 CNNアーキテクチャは,SH照明係数を比較する際に,平均2乗誤差(MSE)をnum7.85e-04の平均2乗誤差(MSE)で予測できることを示す。
  論文  参考訳（メタデータ） (2021-08-17T23:03:55Z)
• GMLight: Lighting Estimation via Geometric Distribution Approximation [86.95367898017358]
  本稿では,効率的な照明推定のための回帰ネットワークと生成プロジェクタを用いた照明推定フレームワークを提案する。 幾何学的な光の分布、光強度、周囲条件、および補助深さの点から照明シーンをパラメータ化し、純粋な回帰タスクとして推定します。 推定照明パラメータを用いて、生成プロジェクタはパノラマ照明マップを現実的な外観と周波数で合成する。
  論文  参考訳（メタデータ） (2021-02-20T03:31:52Z)
• PointAR: Efficient Lighting Estimation for Mobile Augmented Reality [7.58114840374767]
  本稿では,現代のモバイルデバイス上での動作に適した効率的な照明推定パイプラインを提案する。 PointARは、モバイルカメラから撮影した1枚のRGB-D画像と、その画像中の2D位置を取得し、2次球面高調波係数を推定する。
  論文  参考訳（メタデータ） (2020-03-30T19:13:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。