論文の概要: EverLight: Indoor-Outdoor Editable HDR Lighting Estimation
- arxiv url: http://arxiv.org/abs/2304.13207v2
- Date: Mon, 21 Aug 2023 18:53:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-23 20:59:20.016182
- Title: EverLight: Indoor-Outdoor Editable HDR Lighting Estimation
- Title（参考訳）: EverLight:屋内編集可能なHDR照明推定
- Authors: Mohammad Reza Karimi Dastjerdi, Jonathan Eisenmann, Yannick
Hold-Geoffroy, Jean-Fran\c{c}ois Lalonde
- Abstract要約: 本稿では、パラメトリック光モデルと360degパノラマを組み合わせ、レンダリングエンジンでHDRIとして使用できる手法を提案する。
我々の表現では、ユーザは光の方向、強度、数などを簡単に編集してシェーディングに影響を与えながら、リッチで複雑なリフレクションを提供しながら、編集とシームレスにブレンドすることができる。
- 参考スコア（独自算出の注目度）: 9.443561684223514
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Because of the diversity in lighting environments, existing illumination
estimation techniques have been designed explicitly on indoor or outdoor
environments. Methods have focused specifically on capturing accurate energy
(e.g., through parametric lighting models), which emphasizes shading and strong
cast shadows; or producing plausible texture (e.g., with GANs), which
prioritizes plausible reflections. Approaches which provide editable lighting
capabilities have been proposed, but these tend to be with simplified lighting
models, offering limited realism. In this work, we propose to bridge the gap
between these recent trends in the literature, and propose a method which
combines a parametric light model with 360{\deg} panoramas, ready to use as
HDRI in rendering engines. We leverage recent advances in GAN-based LDR
panorama extrapolation from a regular image, which we extend to HDR using
parametric spherical gaussians. To achieve this, we introduce a novel lighting
co-modulation method that injects lighting-related features throughout the
generator, tightly coupling the original or edited scene illumination within
the panorama generation process. In our representation, users can easily edit
light direction, intensity, number, etc. to impact shading while providing
rich, complex reflections while seamlessly blending with the edits.
Furthermore, our method encompasses indoor and outdoor environments,
demonstrating state-of-the-art results even when compared to domain-specific
methods.
- Abstract（参考訳）: 照明環境の多様性のため、既存の照明推定技術は屋内や屋外の環境で明示的に設計されている。
方法は特に正確なエネルギー(例えばパラメトリック照明モデル)を捉えることに焦点を当てており、シェーディングと強い鋳造影を強調するか、あるいは可塑性反射を優先する可塑性テクスチャ(例えば、GAN)を作り出す。
編集可能な照明機能を提供するアプローチが提案されているが、これらは単純な照明モデルで実現性は限られている。
本稿では,最近の文献の傾向のギャップを埋める手法を提案するとともに,パラメトリック光モデルと360{\deg}パノラマを組み合わせてレンダリングエンジンでHDRIとして使用できる手法を提案する。
GANをベースとしたパノラマ外挿法における最近の進歩を活用し,パラメトリック球状ガウスを用いたHDRに拡張した。
そこで本研究では,パノラマ生成プロセスにおいて,照明関連の特徴をジェネレータ全体に注入し,オリジナル又は編集されたシーン照明を密結合する新しい照明共変調方式を提案する。
我々の表現では、ユーザは光の方向、強度、数などを簡単に編集してシェーディングに影響を与えながら、リッチで複雑なリフレクションを提供しながら、編集とシームレスにブレンドすることができる。
さらに,室内および屋外の環境を包含し,ドメイン固有手法と比較しても最先端の成果を示す。
関連論文リスト
- DifFRelight: Diffusion-Based Facial Performance Relighting [12.909429637057343]
拡散に基づく画像から画像への変換を用いた,自由視点顔の表情のリライティングのための新しいフレームワークを提案する。
我々は、正確な照明制御のための拡散モデルを訓練し、フラットライト入力からの顔画像の高忠実度化を可能にする。
このモデルは、目の反射、地表面散乱、自影、半透明といった複雑な照明効果を正確に再現する。
論文 参考訳（メタデータ） (2024-10-10T17:56:44Z) - NieR: Normal-Based Lighting Scene Rendering [17.421326290704844]
NieR(Normal-based Lighting Scene Rendering)は、様々な材料表面における光反射のニュアンスを考慮した新しいフレームワークである。
本稿では,光の反射特性を捉えたLD(Light Decomposition)モジュールについて述べる。
また、スパースガウス表現の限界を克服するためにHNGD (Hierarchical Normal Gradient Densification) モジュールを提案する。
論文 参考訳（メタデータ） (2024-05-21T14:24:43Z) - Controllable Light Diffusion for Portraits [8.931046902694984]
ポートレートの照明を改善する新しい方法である光拡散を導入する。
プロの写真家のディフューザーとスクリムにインスパイアされたこの手法は、1枚のポートレート写真のみの照明を柔らかくする。
論文 参考訳（メタデータ） (2023-05-08T14:46:28Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳（メタデータ） (2023-05-07T20:36:29Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳（メタデータ） (2023-04-06T17:51:54Z) - WildLight: In-the-wild Inverse Rendering with a Flashlight [77.31815397135381]
本研究では、未知の環境光下での逆レンダリングのための実用的な測光ソリューションを提案する。
本システムは,スマートフォンで撮影した多視点画像のみを用いて,シーン形状と反射率を復元する。
提案手法は実装が容易で,セットアップも容易で,既存の逆レンダリング技術よりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-03-24T17:59:56Z) - Neural Light Field Estimation for Street Scenes with Differentiable
Virtual Object Insertion [129.52943959497665]
既存の屋外照明推定の作業は通常、シーン照明を環境マップに単純化する。
単一画像から5次元HDR光場を推定するニューラルネットワークを提案する。
自律運転アプリケーションにおけるARオブジェクト挿入の利点を示す。
論文 参考訳（メタデータ） (2022-08-19T17:59:16Z) - StyleLight: HDR Panorama Generation for Lighting Estimation and Editing [98.20167223076756]
単一視野(LFOV)画像から高ダイナミックレンジ(GAN)屋内パノラマ光を生成するための新しい照明推定・編集フレームワークを提案する。
本フレームワークは室内照明推定における最先端手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-07-29T17:58:58Z) - GMLight: Lighting Estimation via Geometric Distribution Approximation [86.95367898017358]
本稿では,効率的な照明推定のための回帰ネットワークと生成プロジェクタを用いた照明推定フレームワークを提案する。
幾何学的な光の分布、光強度、周囲条件、および補助深さの点から照明シーンをパラメータ化し、純粋な回帰タスクとして推定します。
推定照明パラメータを用いて、生成プロジェクタはパノラマ照明マップを現実的な外観と周波数で合成する。
論文 参考訳（メタデータ） (2021-02-20T03:31:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。