論文の概要: 3DFaceFill: An Analysis-By-Synthesis Approach to Face Completion
- arxiv url: http://arxiv.org/abs/2110.10395v1
- Date: Wed, 20 Oct 2021 06:31:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-22 17:19:41.498746
- Title: 3DFaceFill: An Analysis-By-Synthesis Approach to Face Completion
- Title（参考訳）: 3DFaceFill: 顔補完のための分析バイシンセシスアプローチ
- Authors: Rahul Dey and Vishnu Boddeti
- Abstract要約: 3DFaceFillは、画像形成過程を明示的に考慮した顔合成のための分析バイシンセシス手法である。
1)顔を構成体3Dメッシュに切り離すエンコーダ、3Dポーズ、照明およびアルベド因子、(2)顔アルベドのUV表現を塗布するオートエンコーダ、(3)完成した顔を再合成するオートエンコーダからなる。
- 参考スコア（独自算出の注目度）: 2.0305676256390934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing face completion solutions are primarily driven by end-to-end models
that directly generate 2D completions of 2D masked faces. By having to
implicitly account for geometric and photometric variations in facial shape and
appearance, such approaches result in unrealistic completions, especially under
large variations in pose, shape, illumination and mask sizes. To alleviate
these limitations, we introduce 3DFaceFill, an analysis-by-synthesis approach
for face completion that explicitly considers the image formation process. It
comprises three components, (1) an encoder that disentangles the face into its
constituent 3D mesh, 3D pose, illumination and albedo factors, (2) an
autoencoder that inpaints the UV representation of facial albedo, and (3) a
renderer that resynthesizes the completed face. By operating on the UV
representation, 3DFaceFill affords the power of correspondence and allows us to
naturally enforce geometrical priors (e.g. facial symmetry) more effectively.
Quantitatively, 3DFaceFill improves the state-of-the-art by up to 4dB higher
PSNR and 25% better LPIPS for large masks. And, qualitatively, it leads to
demonstrably more photorealistic face completions over a range of masks and
occlusions while preserving consistency in global and component-wise shape,
pose, illumination and eye-gaze.
- Abstract（参考訳）: 既存の顔補完ソリューションは、主に2dマスク面の2d補完を直接生成するエンドツーエンドモデルによって駆動される。
このようなアプローチは、顔の形状や外観の幾何学的および測光的変化を暗黙的に考慮しなければならないため、特にポーズ、形状、照明、マスクの大きさのバリエーションにおいて非現実的な完成をもたらす。
この制約を緩和するために,画像形成過程を明示的に考慮した顔補完のための解析合成手法である3dfacefillを提案する。
本発明は,(1)顔を構成する3dメッシュと3dポーズ,照明,アルベド要素を内包するエンコーダ,(2)顔アルベドのuv表現を対向するオートエンコーダ,(3)完成顔の合成を行うレンダラーの3つの構成要素からなる。
UV表現を操作することで、3DFaceFillは対応の力を与え、自然に幾何学的先行(例えば顔対称性)をより効果的に強制することができる。
定量的には、3dfacefillは最大4dbの高psnrと25%の大型マスクのlpipにより最先端の技術を改善している。
そして質的には、グローバルでコンポーネント的な形状、ポーズ、照明、アイガゼの一貫性を保ちながら、マスクやオクルージョンの幅を超えて、フォトリアリスティックな顔の完成度が著しく向上する。
関連論文リスト
- CGOF++: Controllable 3D Face Synthesis with Conditional Generative
Occupancy Fields [52.14985242487535]
生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。
中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。
提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
論文 参考訳（メタデータ） (2022-11-23T19:02:50Z) - Non-Deterministic Face Mask Removal Based On 3D Priors [3.8502825594372703]
提案手法では,マルチタスクの3次元顔再構成モジュールと顔塗装モジュールを統合する。
本手法は,3次元形状パラメータを徐々に制御することにより,表情や口の動きの異なる高品質な動的塗装結果を生成する。
論文 参考訳（メタデータ） (2022-02-20T16:27:44Z) - AvatarMe++: Facial Shape and BRDF Inference with Photorealistic
Rendering-Aware GANs [119.23922747230193]
そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。
本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
論文 参考訳（メタデータ） (2021-12-11T11:36:30Z) - MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。
提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。
ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
論文 参考訳（メタデータ） (2021-11-01T15:53:36Z) - HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。
本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
論文 参考訳（メタデータ） (2021-06-18T07:39:09Z) - OSTeC: One-Shot Texture Completion [86.23018402732748]
ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。
提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。
完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
論文 参考訳（メタデータ） (2020-12-30T23:53:26Z) - Face Super-Resolution Guided by 3D Facial Priors [92.23902886737832]
シャープな顔構造を把握した3次元顔先行情報を明示的に組み込んだ新しい顔超解像法を提案する。
我々の研究は、顔属性のパラメトリック記述の融合に基づく3次元形態的知識を初めて探求したものである。
提案した3D先行画像は、最先端技術よりも優れた顔超解像結果が得られる。
論文 参考訳（メタデータ） (2020-07-18T15:26:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。