論文の概要: StyleLight: HDR Panorama Generation for Lighting Estimation and Editing
- arxiv url: http://arxiv.org/abs/2207.14811v1
- Date: Fri, 29 Jul 2022 17:58:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-01 12:33:10.663347
- Title: StyleLight: HDR Panorama Generation for Lighting Estimation and Editing
- Title（参考訳）: StyleLight: 照明推定と編集のためのHDRパノラマ生成
- Authors: Guangcong Wang and Yinuo Yang and Chen Change Loy and Ziwei Liu
- Abstract要約: 単一視野(LFOV)画像から高ダイナミックレンジ(GAN)屋内パノラマ光を生成するための新しい照明推定・編集フレームワークを提案する。
本フレームワークは室内照明推定における最先端手法よりも優れた性能を実現する。
- 参考スコア（独自算出の注目度）: 98.20167223076756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a new lighting estimation and editing framework to generate
high-dynamic-range (HDR) indoor panorama lighting from a single limited
field-of-view (LFOV) image captured by low-dynamic-range (LDR) cameras.
Existing lighting estimation methods either directly regress lighting
representation parameters or decompose this problem into LFOV-to-panorama and
LDR-to-HDR lighting generation sub-tasks. However, due to the partial
observation, the high-dynamic-range lighting, and the intrinsic ambiguity of a
scene, lighting estimation remains a challenging task. To tackle this problem,
we propose a coupled dual-StyleGAN panorama synthesis network (StyleLight) that
integrates LDR and HDR panorama synthesis into a unified framework. The LDR and
HDR panorama synthesis share a similar generator but have separate
discriminators. During inference, given an LDR LFOV image, we propose a
focal-masked GAN inversion method to find its latent code by the LDR panorama
synthesis branch and then synthesize the HDR panorama by the HDR panorama
synthesis branch. StyleLight takes LFOV-to-panorama and LDR-to-HDR lighting
generation into a unified framework and thus greatly improves lighting
estimation. Extensive experiments demonstrate that our framework achieves
superior performance over state-of-the-art methods on indoor lighting
estimation. Notably, StyleLight also enables intuitive lighting editing on
indoor HDR panoramas, which is suitable for real-world applications. Code is
available at https://style-light.github.io.
- Abstract（参考訳）: 高ダイナミックレンジ(HDR)屋内パノラマ光を低ダイナミックレンジ(LDR)カメラで捉えた単一視野(LFOV)画像から生成する新しい照明推定・編集フレームワークを提案する。
既存の照明推定手法では、照明表現パラメータを直接回帰するか、問題をLFOV-to-panoramaとLDR-to-HDRサブタスクに分解する。
しかし、部分的な観察、高ダイナミックレンジ照明、シーン固有のあいまいさなどにより、照明推定は依然として困難な課題である。
この問題に対処するために,LDRとHDRのパノラマ合成を統合フレームワークに統合した,デュアルスタイルGANパノラマ合成ネットワーク(StyleLight)を提案する。
LDRとHDRパノラマ合成は類似のジェネレータを共有しているが、別の識別器を持っている。
本稿では,LDRパノラマ合成部を用いて,LDRパノラマ合成部を用いて,HDRパノラマ合成部を用いて,HDRパノラマ合成部によりその潜伏コードを見つけるための焦点マス化GANインバージョン法を提案する。
StyleLight は LFOV-to-panorama と LDR-to-HDR を統一したフレームワークに取り入れ、照明推定を大幅に改善する。
室内照明推定における最先端手法よりも優れた性能を実現することを,広範な実験により実証した。
StyleLightは、屋内のHDRパノラマの直感的な照明編集も可能で、現実世界のアプリケーションに適している。
コードはhttps://style-light.github.ioで入手できる。
関連論文リスト
- HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting [76.5908492298286]
既存のHDR NVS法は主にNeRFに基づいている。
訓練時間は長く、推論速度は遅い。
我々は新しいフレームワークHigh Dynamic Range Gaussian Splatting (-GS)を提案する。
論文 参考訳（メタデータ） (2024-05-24T00:46:58Z) - Pano-NeRF: Synthesizing High Dynamic Range Novel Views with Geometry
from Sparse Low Dynamic Range Panoramic Images [82.1477261107279]
そこで本研究では,Sparse LDRパノラマ画像からの照射場を用いて,忠実な幾何復元のための観測回数を増やすことを提案する。
実験により、照射場は幾何復元とHDR再構成の両方において最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2023-12-26T08:10:22Z) - LAN-HDR: Luminance-based Alignment Network for High Dynamic Range Video
Reconstruction [20.911738532410766]
本稿では,LDRフレームを特徴空間に整列させ,その特徴をHDRフレームにマージする,エンドツーエンドのHDRビデオ合成フレームワークを提案する。
トレーニングでは、フレーム再構築損失に加えて時間的損失を採用し、時間的一貫性を高め、フリッカリングを低減する。
論文 参考訳（メタデータ） (2023-08-22T01:43:00Z) - EverLight: Indoor-Outdoor Editable HDR Lighting Estimation [9.443561684223514]
本稿では、パラメトリック光モデルと360degパノラマを組み合わせ、レンダリングエンジンでHDRIとして使用できる手法を提案する。
我々の表現では、ユーザは光の方向、強度、数などを簡単に編集してシェーディングに影響を与えながら、リッチで複雑なリフレクションを提供しながら、編集とシームレスにブレンドすることができる。
論文 参考訳（メタデータ） (2023-04-26T00:20:59Z) - GlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild [74.52723408793648]
そこで本研究では,HDR画像の生成モデルを構築するための第1の手法について述べる。
鍵となる考え方は、GAN(Generative Adversarial Network)を訓練して、様々な露光下でLDRに投影された場合、実際のLDR画像と区別できないHDR画像を生成することである。
実験の結果,GlowGANはランドスケープ,雷,窓など多くの難題において,光現実的HDR画像を合成できることがわかった。
論文 参考訳（メタデータ） (2022-11-22T15:42:08Z) - Self-supervised HDR Imaging from Motion and Exposure Cues [14.57046548797279]
本稿では,学習可能なHDR推定のための新たな自己教師型アプローチを提案する。
実験の結果,提案手法を用いて訓練したHDRモデルは,全監督下で訓練したモデルと性能の競争力を発揮することがわかった。
論文 参考訳（メタデータ） (2022-03-23T10:22:03Z) - HDR-NeRF: High Dynamic Range Neural Radiance Fields [70.80920996881113]
我々は、低ダイナミックレンジ(LDR)ビューの集合からHDR放射界を異なる露光で復元するために、高ダイナミックレンジニューラルレイディアンス場(-NeRF)を提案する。
異なる露出下で、新しいHDRビューと新しいLDRビューの両方を生成することができる。
論文 参考訳（メタデータ） (2021-11-29T11:06:39Z) - Luminance Attentive Networks for HDR Image and Panorama Reconstruction [37.364335148790005]
低ダイナミックレンジ(LDR)画像から高逆範囲を不適切な問題として再構成することは困難である。
本稿では,1つのLDR画像からHDR再構成を行うために,LANetという減衰輝度ネットワークを提案する。
論文 参考訳（メタデータ） (2021-09-14T13:44:34Z) - Deep Snapshot HDR Imaging Using Multi-Exposure Color Filter Array [14.5106375775521]
本稿では,有効損失と入力データの正規化を同時に実現する輝度正規化の考え方を紹介する。
2つの公開HDR画像データセットを用いた実験結果から,我々のフレームワークが他のスナップショット手法より優れていることが示された。
論文 参考訳（メタデータ） (2020-11-20T06:31:37Z) - HDR-GAN: HDR Image Reconstruction from Multi-Exposed LDR Images with
Large Motions [62.44802076971331]
マルチ露光LDR画像からHDR画像を合成するための新しいGANモデルHDR-GANを提案する。
本手法は,敵対学習を取り入れることで,欠落したコンテンツのある領域に忠実な情報を生成することができる。
論文 参考訳（メタデータ） (2020-07-03T11:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。