論文の概要: Deep Portrait Lighting Enhancement with 3D Guidance
- arxiv url: http://arxiv.org/abs/2108.02121v1
- Date: Wed, 4 Aug 2021 15:49:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-05 13:11:29.530866
- Title: Deep Portrait Lighting Enhancement with 3D Guidance
- Title(参考訳): 3次元誘導による深部ポートレート照明の強化
- Authors: Fangzhou Han, Can Wang, Hao Du and Jing Liao
- Abstract要約: 顔の3次元誘導に基づくポートレートライティング向上のための新しいディープラーニングフレームワークを提案する。
FFHQデータセットと画像内画像による実験結果から,提案手法は定量的な計測値と視覚的品質の両方の観点から,最先端の手法よりも優れていることがわかった。
- 参考スコア(独自算出の注目度): 24.01582513386902
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite recent breakthroughs in deep learning methods for image lighting
enhancement, they are inferior when applied to portraits because 3D facial
information is ignored in their models. To address this, we present a novel
deep learning framework for portrait lighting enhancement based on 3D facial
guidance. Our framework consists of two stages. In the first stage, corrected
lighting parameters are predicted by a network from the input bad lighting
image, with the assistance of a 3D morphable model and a differentiable
renderer. Given the predicted lighting parameter, the differentiable renderer
renders a face image with corrected shading and texture, which serves as the 3D
guidance for learning image lighting enhancement in the second stage. To better
exploit the long-range correlations between the input and the guidance, in the
second stage, we design an image-to-image translation network with a novel
transformer architecture, which automatically produces a lighting-enhanced
result. Experimental results on the FFHQ dataset and in-the-wild images show
that the proposed method outperforms state-of-the-art methods in terms of both
quantitative metrics and visual quality. We will publish our dataset along with
more results on https://cassiepython.github.io/egsr/index.html.
- Abstract(参考訳): 画像照明強化のためのディープラーニング手法の最近のブレークスルーにもかかわらず、3d顔情報はモデルで無視されているため、ポートレートに適用すると劣る。
そこで本稿では,3次元顔指導に基づくポートレートライティングエンハンスメントのための深層学習フレームワークを提案する。
私たちの枠組みは2つの段階からなる。
第1段階では、入力された悪い照明画像からネットワークにより補正された照明パラメータを予測し、3次元の変形可能なモデルと微分可能なレンダラーを補助する。
予測された照明パラメータにより、微分可能なレンダラは、補正されたシェーディングとテクスチャで顔画像をレンダリングし、第2段で画像照明の強化を学ぶための3dガイダンスとなる。
入力と誘導の長距離相関をよりよく活用するため,第2段階では,新しいトランスフォーマアーキテクチャを用いた画像から画像への変換ネットワークを設計し,照明効果を自動生成する。
ffhqデータセットとin-the-wild画像を用いた実験の結果,提案手法が定量的指標と視覚品質の両面で最先端手法よりも優れていることがわかった。
私たちはデータセットをhttps://cassiepython.github.io/egsr/index.htmlで公開します。
関連論文リスト
- InstructPix2NeRF: Instructed 3D Portrait Editing from a Single Image [25.076270175205593]
InstructPix2NeRFは、人間の指示で単一のオープンワールドイメージから3D対応のポートレート編集を可能にする。
中心となるのは条件付き3D拡散プロセスで、2D編集を3D空間に引き上げ、ペア画像の差分と3重データによる指示との相関を学習する。
論文 参考訳(メタデータ) (2023-11-06T02:21:11Z) - ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image
Collections [71.46546520120162]
単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。
本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。
我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
論文 参考訳(メタデータ) (2023-06-07T17:47:50Z) - Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。
一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。
提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
論文 参考訳(メタデータ) (2023-05-03T17:56:01Z) - DiFaReli: Diffusion Face Relighting [13.000032155650835]
野生でのワンビューリライティングに新しいアプローチを提案する。
グローバル照明やキャストシャドーなどの非拡散効果を扱うことは、長い間、顔のリライティングの課題だった。
標準ベンチマークであるMulti-PIE上での最先端性能を実現し,画像の写実的リライトを実現する。
論文 参考訳(メタデータ) (2023-04-19T08:03:20Z) - Learning to Relight Portrait Images via a Virtual Light Stage and
Synthetic-to-Real Adaptation [76.96499178502759]
Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。
最近の手法は、高品質な結果を得るためにディープラーニングに依存している。
そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
論文 参考訳(メタデータ) (2022-09-21T17:15:58Z) - Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。
1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
論文 参考訳(メタデータ) (2022-05-19T06:44:37Z) - A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware
Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。
正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。
複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文 参考訳(メタデータ) (2021-10-29T10:53:12Z) - Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。
既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。
本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-13T15:29:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。