論文の概要: Physically-Based Editing of Indoor Scene Lighting from a Single Image
- arxiv url: http://arxiv.org/abs/2205.09343v1
- Date: Thu, 19 May 2022 06:44:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-21 05:26:38.430857
- Title: Physically-Based Editing of Indoor Scene Lighting from a Single Image
- Title（参考訳）: 単一画像からの室内照明の物理的編集
- Authors: Zhengqin Li, Jia Shi, Sai Bi, Rui Zhu, Kalyan Sunkavalli, Milo\v{s}
Ha\v{s}an, Zexiang Xu, Ravi Ramamoorthi, Manmohan Chandraker
- Abstract要約: 本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。
1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
- 参考スコア（独自算出の注目度）: 106.60252793395104
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a method to edit complex indoor lighting from a single image with
its predicted depth and light source segmentation masks. This is an extremely
challenging problem that requires modeling complex light transport, and
disentangling HDR lighting from material and geometry with only a partial LDR
observation of the scene. We tackle this problem using two novel components: 1)
a holistic scene reconstruction method that estimates scene reflectance and
parametric 3D lighting, and 2) a neural rendering framework that re-renders the
scene from our predictions. We use physically-based indoor light
representations that allow for intuitive editing, and infer both visible and
invisible light sources. Our neural rendering framework combines
physically-based direct illumination and shadow rendering with deep networks to
approximate global illumination. It can capture challenging lighting effects,
such as soft shadows, directional lighting, specular materials, and
interreflections. Previous single image inverse rendering methods usually
entangle scene lighting and geometry and only support applications like object
insertion. Instead, by combining parametric 3D lighting estimation with neural
scene rendering, we demonstrate the first automatic method to achieve full
scene relighting, including light source insertion, removal, and replacement,
from a single image. All source code and data will be publicly released.
- Abstract（参考訳）: 本稿では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する方法を提案する。
これは複雑な光輸送をモデル化し、シーンの部分的なLDR観測のみで物質や幾何学からHDR光を遠ざけるという非常に難しい問題である。
2つの新しい要素を使ってこの問題に取り組みます
1)シーン反射率とパラメトリック3d照明を推定する総合的なシーン再構成法
2) 予測からシーンを再レンダリングするニューラルネットワークレンダリングフレームワーク。
我々は、直感的な編集を可能にし、可視光源と可視光源の両方を推論する物理ベースの屋内光表現を使用します。
我々のニューラルレンダリングフレームワークは、物理ベースの直接照明と影のレンダリングをディープネットワークと組み合わせ、大域的な照明を近似する。
ソフトシャドウ、指向性照明、特殊素材、反射など、困難な照明効果を捉えることができる。
以前のシングルイメージ逆レンダリング手法は通常、シーン照明と幾何学を絡み合わせ、オブジェクト挿入のようなアプリケーションのみをサポートする。
代わりに、パラメトリックな3次元照明推定とニューラルシーンレンダリングを組み合わせることで、光源挿入、除去、置換を含むフルシーンの照明を実現するための最初の自動手法を、単一の画像から示す。
すべてのソースコードとデータは公開されます。
関連論文リスト
- All-frequency Full-body Human Image Relighting [1.529342790344802]
人間の画像のリライティングは、肖像画における照明効果のポストフォトグラフィー編集を可能にする。
現在の主流のアプローチでは、物理的シェーディングの原則を明示的に考慮することなく、ニューラルネットワークを使用して照明効果を近似している。
本研究では,低周波から高周波の影や陰影を再現できる2段階照明法を提案する。
論文 参考訳（メタデータ） (2024-11-01T04:45:48Z) - IllumiNeRF: 3D Relighting Without Inverse Rendering [25.642960820693947]
対象の環境光と推定対象形状を条件とした画像拡散モデルを用いて,各入力画像をリライトする方法を示す。
ニューラル・レージアンス・フィールド (NeRF) をこれらの信頼された画像で再構成し, 対象光の下で新しいビューを描画する。
この戦略は驚くほど競争力があり、複数のリライトベンチマークで最先端の結果が得られることを実証する。
論文 参考訳（メタデータ） (2024-06-10T17:59:59Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳（メタデータ） (2023-04-06T17:51:54Z) - WildLight: In-the-wild Inverse Rendering with a Flashlight [77.31815397135381]
本研究では、未知の環境光下での逆レンダリングのための実用的な測光ソリューションを提案する。
本システムは,スマートフォンで撮影した多視点画像のみを用いて,シーン形状と反射率を復元する。
提案手法は実装が容易で,セットアップも容易で,既存の逆レンダリング技術よりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-03-24T17:59:56Z) - Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。
既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。
本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-13T15:29:03Z) - Self-supervised Outdoor Scene Relighting [92.20785788740407]
本稿では, 自己指導型リライティング手法を提案する。
当社のアプローチは,ユーザの監督なしにインターネットから収集した画像のコーパスのみに基づいて訓練されている。
以上の結果から,写実的かつ物理的に妥当な結果を生成できる技術が,見えない場面に一般化できることが示唆された。
論文 参考訳（メタデータ） (2021-07-07T09:46:19Z) - Free-viewpoint Indoor Neural Relighting from Multi-view Stereo [5.306819482496464]
本稿では,対話型自由視点ナビゲーションが可能な屋内シーンを撮影するためのニューラルリライティングアルゴリズムを提案する。
本手法では, 鋳造影や複雑な光沢物質を連続的にレンダリングしながら, 照明を合成的に変化させることができる。
論文 参考訳（メタデータ） (2021-06-24T20:09:40Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳（メタデータ） (2020-08-09T22:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。