論文の概要: Physically-Based Editing of Indoor Scene Lighting from a Single Image
- arxiv url: http://arxiv.org/abs/2205.09343v1
- Date: Thu, 19 May 2022 06:44:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-21 05:26:38.430857
- Title: Physically-Based Editing of Indoor Scene Lighting from a Single Image
- Title(参考訳): 単一画像からの室内照明の物理的編集
- Authors: Zhengqin Li, Jia Shi, Sai Bi, Rui Zhu, Kalyan Sunkavalli, Milo\v{s}
Ha\v{s}an, Zexiang Xu, Ravi Ramamoorthi, Manmohan Chandraker
- Abstract要約: 本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。
1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
- 参考スコア(独自算出の注目度): 106.60252793395104
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a method to edit complex indoor lighting from a single image with
its predicted depth and light source segmentation masks. This is an extremely
challenging problem that requires modeling complex light transport, and
disentangling HDR lighting from material and geometry with only a partial LDR
observation of the scene. We tackle this problem using two novel components: 1)
a holistic scene reconstruction method that estimates scene reflectance and
parametric 3D lighting, and 2) a neural rendering framework that re-renders the
scene from our predictions. We use physically-based indoor light
representations that allow for intuitive editing, and infer both visible and
invisible light sources. Our neural rendering framework combines
physically-based direct illumination and shadow rendering with deep networks to
approximate global illumination. It can capture challenging lighting effects,
such as soft shadows, directional lighting, specular materials, and
interreflections. Previous single image inverse rendering methods usually
entangle scene lighting and geometry and only support applications like object
insertion. Instead, by combining parametric 3D lighting estimation with neural
scene rendering, we demonstrate the first automatic method to achieve full
scene relighting, including light source insertion, removal, and replacement,
from a single image. All source code and data will be publicly released.
- Abstract(参考訳): 本稿では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する方法を提案する。
これは複雑な光輸送をモデル化し、シーンの部分的なLDR観測のみで物質や幾何学からHDR光を遠ざけるという非常に難しい問題である。
2つの新しい要素を使ってこの問題に取り組みます
1)シーン反射率とパラメトリック3d照明を推定する総合的なシーン再構成法
2) 予測からシーンを再レンダリングするニューラルネットワークレンダリングフレームワーク。
我々は、直感的な編集を可能にし、可視光源と可視光源の両方を推論する物理ベースの屋内光表現を使用します。
我々のニューラルレンダリングフレームワークは、物理ベースの直接照明と影のレンダリングをディープネットワークと組み合わせ、大域的な照明を近似する。
ソフトシャドウ、指向性照明、特殊素材、反射など、困難な照明効果を捉えることができる。
以前のシングルイメージ逆レンダリング手法は通常、シーン照明と幾何学を絡み合わせ、オブジェクト挿入のようなアプリケーションのみをサポートする。
代わりに、パラメトリックな3次元照明推定とニューラルシーンレンダリングを組み合わせることで、光源挿入、除去、置換を含むフルシーンの照明を実現するための最初の自動手法を、単一の画像から示す。
すべてのソースコードとデータは公開されます。
関連論文リスト
- DiFaReli: Diffusion Face Relighting [13.000032155650835]
野生でのワンビューリライティングに新しいアプローチを提案する。
グローバル照明やキャストシャドーなどの非拡散効果を扱うことは、長い間、顔のリライティングの課題だった。
標準ベンチマークであるMulti-PIE上での最先端性能を実現し,画像の写実的リライトを実現する。
論文 参考訳(メタデータ) (2023-04-19T08:03:20Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳(メタデータ) (2023-04-06T17:51:54Z) - WildLight: In-the-wild Inverse Rendering with a Flashlight [77.31815397135381]
本研究では、未知の環境光下での逆レンダリングのための実用的な測光ソリューションを提案する。
本システムは,スマートフォンで撮影した多視点画像のみを用いて,シーン形状と反射率を復元する。
提案手法は実装が容易で,セットアップも容易で,既存の逆レンダリング技術よりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-03-24T17:59:56Z) - OutCast: Outdoor Single-image Relighting with Cast Shadows [19.354412901507175]
本研究では,屋外画像のリライティング手法を提案する。
本手法は,1枚の画像から任意の新しい照明方向の鋳造影を予測することに焦点を当てる。
提案手法は,1つの画像のみを入力として,初めて最先端のリライト結果を実現する。
論文 参考訳(メタデータ) (2022-04-20T09:24:14Z) - Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。
既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。
本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-13T15:29:03Z) - Self-supervised Outdoor Scene Relighting [92.20785788740407]
本稿では, 自己指導型リライティング手法を提案する。
当社のアプローチは,ユーザの監督なしにインターネットから収集した画像のコーパスのみに基づいて訓練されている。
以上の結果から,写実的かつ物理的に妥当な結果を生成できる技術が,見えない場面に一般化できることが示唆された。
論文 参考訳(メタデータ) (2021-07-07T09:46:19Z) - Free-viewpoint Indoor Neural Relighting from Multi-view Stereo [5.306819482496464]
本稿では,対話型自由視点ナビゲーションが可能な屋内シーンを撮影するためのニューラルリライティングアルゴリズムを提案する。
本手法では, 鋳造影や複雑な光沢物質を連続的にレンダリングしながら, 照明を合成的に変化させることができる。
論文 参考訳(メタデータ) (2021-06-24T20:09:40Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳(メタデータ) (2020-08-09T22:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。