論文の概要: Holo-Relighting: Controllable Volumetric Portrait Relighting from a Single Image
- arxiv url: http://arxiv.org/abs/2403.09632v1
- Date: Thu, 14 Mar 2024 17:58:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-15 18:57:03.163461
- Title: Holo-Relighting: Controllable Volumetric Portrait Relighting from a Single Image
- Title(参考訳): ホロリライティング:単一画像からの制御可能なボリュームポートレートリライティング
- Authors: Yiqun Mei, Yu Zeng, He Zhang, Zhixin Shu, Xuaner Zhang, Sai Bi, Jianming Zhang, HyunJoon Jung, Vishal M. Patel,
- Abstract要約: ホロリライティング(Holo-Relighting)は、1枚の画像から新しい視点と新しい照明を合成できるボリュームリライティング法である。
これらの特徴を処理するために、所定の照明に条件付けされた照明モジュールを設計し、三面体という形で、信頼度の高い3D表現を予測する。
視点制御と照明制御に加えて、ホロライティングはヘッドポーズを条件として、ヘッドポジション依存の照明効果を可能にする。
- 参考スコア(独自算出の注目度): 41.6305755298805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: At the core of portrait photography is the search for ideal lighting and viewpoint. The process often requires advanced knowledge in photography and an elaborate studio setup. In this work, we propose Holo-Relighting, a volumetric relighting method that is capable of synthesizing novel viewpoints, and novel lighting from a single image. Holo-Relighting leverages the pretrained 3D GAN (EG3D) to reconstruct geometry and appearance from an input portrait as a set of 3D-aware features. We design a relighting module conditioned on a given lighting to process these features, and predict a relit 3D representation in the form of a tri-plane, which can render to an arbitrary viewpoint through volume rendering. Besides viewpoint and lighting control, Holo-Relighting also takes the head pose as a condition to enable head-pose-dependent lighting effects. With these novel designs, Holo-Relighting can generate complex non-Lambertian lighting effects (e.g., specular highlights and cast shadows) without using any explicit physical lighting priors. We train Holo-Relighting with data captured with a light stage, and propose two data-rendering techniques to improve the data quality for training the volumetric relighting system. Through quantitative and qualitative experiments, we demonstrate Holo-Relighting can achieve state-of-the-arts relighting quality with better photorealism, 3D consistency and controllability.
- Abstract(参考訳): 肖像画の核心は、理想的な照明と視点の探索である。
このプロセスは、しばしば写真に関する高度な知識と精巧なスタジオのセットアップを必要とする。
本研究では,新しい視点を合成可能なボリュームリライティング手法であるHolo-Relightingと,単一画像からの新たなライティングを提案する。
Holo-Relightingは、事前訓練された3D GAN(EG3D)を利用して、入力されたポートレートから3D対応の特徴のセットとして幾何学と外観を再構築する。
これらの特徴を処理するために、所定の照明に条件付けされた照明モジュールを設計し、ボリュームレンダリングにより任意の視点にレンダリングできるトリプレーンの形で、信頼度の高い3D表現を予測する。
視点制御と照明制御に加えて、ホロライティングはヘッドポーズを条件として、ヘッドポジション依存の照明効果を可能にする。
これらの新しい設計により、ホロライティングは、明示的な物理的照明の前兆を使わずに、複雑な非ランベルト照明効果(例えば、特異なハイライトやキャストシャドウ)を発生させることができる。
本研究は, ホロライティングを光で捉えたデータを用いて訓練し, ボリュームライティングシステムの学習におけるデータ品質向上のための2つのデータレンダリング手法を提案する。
定量的および定性的な実験を通じて、ホロライティングは、より優れたフォトリアリズム、3次元の一貫性、制御性を備えた最先端のリライティング品質を実現することができることを実証する。
関連論文リスト
- FaceLit: Neural 3D Relightable Faces [28.0806453092185]
FaceLitは、ユーザーが定義した様々な照明条件やビューでレンダリングできる3D顔を生成することができる。
FFHQデータセット上での3次元認識GANのFIDスコア3.5。
論文 参考訳(メタデータ) (2023-03-27T17:59:10Z) - Neural Light Field Estimation for Street Scenes with Differentiable
Virtual Object Insertion [129.52943959497665]
既存の屋外照明推定の作業は通常、シーン照明を環境マップに単純化する。
単一画像から5次元HDR光場を推定するニューラルネットワークを提案する。
自律運転アプリケーションにおけるARオブジェクト挿入の利点を示す。
論文 参考訳(メタデータ) (2022-08-19T17:59:16Z) - Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。
1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
論文 参考訳(メタデータ) (2022-05-19T06:44:37Z) - A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware
Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。
正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。
複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文 参考訳(メタデータ) (2021-10-29T10:53:12Z) - Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。
既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。
本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-13T15:29:03Z) - Deep Portrait Lighting Enhancement with 3D Guidance [24.01582513386902]
顔の3次元誘導に基づくポートレートライティング向上のための新しいディープラーニングフレームワークを提案する。
FFHQデータセットと画像内画像による実験結果から,提案手法は定量的な計測値と視覚的品質の両方の観点から,最先端の手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2021-08-04T15:49:09Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳(メタデータ) (2020-08-09T22:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。