論文の概要: Lite2Relight: 3D-aware Single Image Portrait Relighting
- arxiv url: http://arxiv.org/abs/2407.10487v1
- Date: Mon, 15 Jul 2024 07:16:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 16:00:42.054624
- Title: Lite2Relight: 3D-aware Single Image Portrait Relighting
- Title（参考訳）: Lite2Relight:3D対応のシングル画像ポートレートリライティング
- Authors: Pramod Rao, Gereon Fox, Abhimitra Meka, Mallikarjun B R, Fangneng Zhan, Tim Weyrich, Bernd Bickel, Hanspeter Pfister, Wojciech Matusik, Mohamed Elgharib, Christian Theobalt,
- Abstract要約: Lite2Relightは、肖像画の3D一貫性のある頭部ポーズを予測できる新しいテクニックだ。
事前学習した幾何認識エンコーダと特徴アライメントモジュールを利用することで、入力画像を3D空間にマッピングする。
これには、髪、目、表情を含むフルヘッドの3D一貫性のある結果が含まれる。
- 参考スコア（独自算出の注目度）: 87.62069509622226
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Achieving photorealistic 3D view synthesis and relighting of human portraits is pivotal for advancing AR/VR applications. Existing methodologies in portrait relighting demonstrate substantial limitations in terms of generalization and 3D consistency, coupled with inaccuracies in physically realistic lighting and identity preservation. Furthermore, personalization from a single view is difficult to achieve and often requires multiview images during the testing phase or involves slow optimization processes. This paper introduces Lite2Relight, a novel technique that can predict 3D consistent head poses of portraits while performing physically plausible light editing at interactive speed. Our method uniquely extends the generative capabilities and efficient volumetric representation of EG3D, leveraging a lightstage dataset to implicitly disentangle face reflectance and perform relighting under target HDRI environment maps. By utilizing a pre-trained geometry-aware encoder and a feature alignment module, we map input images into a relightable 3D space, enhancing them with a strong face geometry and reflectance prior. Through extensive quantitative and qualitative evaluations, we show that our method outperforms the state-of-the-art methods in terms of efficacy, photorealism, and practical application. This includes producing 3D-consistent results of the full head, including hair, eyes, and expressions. Lite2Relight paves the way for large-scale adoption of photorealistic portrait editing in various domains, offering a robust, interactive solution to a previously constrained problem. Project page: https://vcai.mpi-inf.mpg.de/projects/Lite2Relight/
- Abstract（参考訳）: 人間の肖像画の写実的な3Dビューの合成とリライティングは、AR/VR応用の進展に欠かせない。
ポートレートライティングの既存の手法は、物理的に現実的なライティングやアイデンティティ保存の不正確さと相まって、一般化と3次元整合性の面でかなりの限界を示している。
さらに、単一視点からのパーソナライゼーションは達成が困難であり、テストフェーズ中に多視点画像を必要とする場合も少なくない。
本稿では,インタラクティブな速度で物理的に可視光編集を行いながら,肖像画の立体的一貫した頭部ポーズを予測できるLite2Relightを紹介する。
提案手法はEG3Dの生成能力と効率的な容積表現を独自に拡張し,光ステージデータセットを用いて顔の反射率を暗黙的に歪め,ターゲットのHDRI環境マップ下でのリライティングを行う。
事前学習した幾何認識エンコーダと特徴アライメントモジュールを利用して、入力画像を3次元空間にマッピングし、強い顔形状と反射率で拡張する。
定量的および定性的な評価を通じて,本手法は,有効性,光現実性,実用性の観点から,最先端の手法よりも優れていることを示す。
これには、髪、目、表情を含むフルヘッドの3D一貫性のある結果が含まれる。
Lite2Relightは、様々な領域でフォトリアリスティックな肖像画編集を大規模に採用する方法を舗装し、以前制約されていた問題に対する堅牢でインタラクティブなソリューションを提供する。
プロジェクトページ:https://vcai.mpi-inf.mpg.de/projects/Lite2Relight/
関連論文リスト
- Real-time 3D-aware Portrait Video Relighting [89.41078798641732]
ニューラル・ラジアンス・フィールド(NeRF)を応用した3次元映像の映像再生のための3D認識方式を提案する。
我々は、高速なデュアルエンコーダを備えたビデオフレーム毎に所望の照明条件に基づいて、アルベド三面体とシェーディング三面体を推定する。
本手法は, 消費者レベルのハードウェア上で32.98fpsで動作し, 再現性, 照明誤差, 照明不安定性, 時間的整合性, 推論速度の両面から最新の結果が得られる。
論文 参考訳（メタデータ） (2024-10-24T01:34:11Z) - Holo-Relighting: Controllable Volumetric Portrait Relighting from a Single Image [41.6305755298805]
ホロリライティング(Holo-Relighting)は、1枚の画像から新しい視点と新しい照明を合成できるボリュームリライティング法である。
これらの特徴を処理するために、所定の照明に条件付けされた照明モジュールを設計し、三面体という形で、信頼度の高い3D表現を予測する。
視点制御と照明制御に加えて、ホロライティングはヘッドポーズを条件として、ヘッドポジション依存の照明効果を可能にする。
論文 参考訳（メタデータ） (2024-03-14T17:58:56Z) - DiFaReli: Diffusion Face Relighting [13.000032155650835]
野生でのワンビューリライティングに新しいアプローチを提案する。
グローバル照明やキャストシャドーなどの非拡散効果を扱うことは、長い間、顔のリライティングの課題だった。
標準ベンチマークであるMulti-PIE上での最先端性能を実現し,画像の写実的リライトを実現する。
論文 参考訳（メタデータ） (2023-04-19T08:03:20Z) - Learning to Relight Portrait Images via a Virtual Light Stage and
Synthetic-to-Real Adaptation [76.96499178502759]
Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。
最近の手法は、高品質な結果を得るためにディープラーニングに依存している。
そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T17:15:58Z) - NARRATE: A Normal Assisted Free-View Portrait Stylizer [42.38374601073052]
NARRATEは、ポートレートライティングと視点をフォトリアリスティックな方法で同時に編集できる新しいパイプラインである。
実験により、NARRATEは、先行研究よりも、よりフォトリアリスティックで信頼性の高い結果が得られることを示した。
さまざまなAR/VRアプリケーションを支援するために,鮮明なフリービューの顔アニメーションと3D対応のライライザライゼーションを紹介した。
論文 参考訳（メタデータ） (2022-07-03T07:54:05Z) - Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。
1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
論文 参考訳（メタデータ） (2022-05-19T06:44:37Z) - A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware
Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。
正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。
複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文 参考訳（メタデータ） (2021-10-29T10:53:12Z) - Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。
既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。
本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-13T15:29:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。