論文の概要: Holo-Relighting: Controllable Volumetric Portrait Relighting from a Single Image

• arxiv url: http://arxiv.org/abs/2403.09632v1
• Date: Thu, 14 Mar 2024 17:58:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-15 18:57:03.163461
• Title: Holo-Relighting: Controllable Volumetric Portrait Relighting from a Single Image
• Title（参考訳）: ホロリライティング:単一画像からの制御可能なボリュームポートレートリライティング
• Authors: Yiqun Mei, Yu Zeng, He Zhang, Zhixin Shu, Xuaner Zhang, Sai Bi, Jianming Zhang, HyunJoon Jung, Vishal M. Patel,
• Abstract要約: ホロリライティング(Holo-Relighting)は、1枚の画像から新しい視点と新しい照明を合成できるボリュームリライティング法である。 これらの特徴を処理するために、所定の照明に条件付けされた照明モジュールを設計し、三面体という形で、信頼度の高い3D表現を予測する。 視点制御と照明制御に加えて、ホロライティングはヘッドポーズを条件として、ヘッドポジション依存の照明効果を可能にする。
• 参考スコア（独自算出の注目度）: 41.6305755298805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: At the core of portrait photography is the search for ideal lighting and viewpoint. The process often requires advanced knowledge in photography and an elaborate studio setup. In this work, we propose Holo-Relighting, a volumetric relighting method that is capable of synthesizing novel viewpoints, and novel lighting from a single image. Holo-Relighting leverages the pretrained 3D GAN (EG3D) to reconstruct geometry and appearance from an input portrait as a set of 3D-aware features. We design a relighting module conditioned on a given lighting to process these features, and predict a relit 3D representation in the form of a tri-plane, which can render to an arbitrary viewpoint through volume rendering. Besides viewpoint and lighting control, Holo-Relighting also takes the head pose as a condition to enable head-pose-dependent lighting effects. With these novel designs, Holo-Relighting can generate complex non-Lambertian lighting effects (e.g., specular highlights and cast shadows) without using any explicit physical lighting priors. We train Holo-Relighting with data captured with a light stage, and propose two data-rendering techniques to improve the data quality for training the volumetric relighting system. Through quantitative and qualitative experiments, we demonstrate Holo-Relighting can achieve state-of-the-arts relighting quality with better photorealism, 3D consistency and controllability.
• Abstract（参考訳）: 肖像画の核心は、理想的な照明と視点の探索である。 このプロセスは、しばしば写真に関する高度な知識と精巧なスタジオのセットアップを必要とする。 本研究では,新しい視点を合成可能なボリュームリライティング手法であるHolo-Relightingと,単一画像からの新たなライティングを提案する。 Holo-Relightingは、事前訓練された3D GAN(EG3D)を利用して、入力されたポートレートから3D対応の特徴のセットとして幾何学と外観を再構築する。 これらの特徴を処理するために、所定の照明に条件付けされた照明モジュールを設計し、ボリュームレンダリングにより任意の視点にレンダリングできるトリプレーンの形で、信頼度の高い3D表現を予測する。 視点制御と照明制御に加えて、ホロライティングはヘッドポーズを条件として、ヘッドポジション依存の照明効果を可能にする。 これらの新しい設計により、ホロライティングは、明示的な物理的照明の前兆を使わずに、複雑な非ランベルト照明効果(例えば、特異なハイライトやキャストシャドウ)を発生させることができる。 本研究は, ホロライティングを光で捉えたデータを用いて訓練し, ボリュームライティングシステムの学習におけるデータ品質向上のための2つのデータレンダリング手法を提案する。 定量的および定性的な実験を通じて、ホロライティングは、より優れたフォトリアリズム、3次元の一貫性、制御性を備えた最先端のリライティング品質を実現することができることを実証する。

関連論文リスト

• Real-time 3D-aware Portrait Video Relighting [89.41078798641732]
  ニューラル・ラジアンス・フィールド(NeRF)を応用した3次元映像の映像再生のための3D認識方式を提案する。 我々は、高速なデュアルエンコーダを備えたビデオフレーム毎に所望の照明条件に基づいて、アルベド三面体とシェーディング三面体を推定する。 本手法は, 消費者レベルのハードウェア上で32.98fpsで動作し, 再現性, 照明誤差, 照明不安定性, 時間的整合性, 推論速度の両面から最新の結果が得られる。
  論文  参考訳（メタデータ） (2024-10-24T01:34:11Z)
• Lite2Relight: 3D-aware Single Image Portrait Relighting [87.62069509622226]
  Lite2Relightは、肖像画の3D一貫性のある頭部ポーズを予測できる新しいテクニックだ。 事前学習した幾何認識エンコーダと特徴アライメントモジュールを利用することで、入力画像を3D空間にマッピングする。 これには、髪、目、表情を含むフルヘッドの3D一貫性のある結果が含まれる。
  論文  参考訳（メタデータ） (2024-07-15T07:16:11Z)
• IllumiNeRF: 3D Relighting Without Inverse Rendering [25.642960820693947]
  対象の環境光と推定対象形状を条件とした画像拡散モデルを用いて,各入力画像をリライトする方法を示す。 ニューラル・レージアンス・フィールド (NeRF) をこれらの信頼された画像で再構成し, 対象光の下で新しいビューを描画する。 この戦略は驚くほど競争力があり、複数のリライトベンチマークで最先端の結果が得られることを実証する。
  論文  参考訳（メタデータ） (2024-06-10T17:59:59Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Deep Portrait Lighting Enhancement with 3D Guidance [24.01582513386902]
  顔の3次元誘導に基づくポートレートライティング向上のための新しいディープラーニングフレームワークを提案する。 FFHQデータセットと画像内画像による実験結果から,提案手法は定量的な計測値と視覚的品質の両方の観点から,最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-08-04T15:49:09Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。