論文の概要: Deep Face Video Inpainting via UV Mapping
- arxiv url: http://arxiv.org/abs/2109.00681v1
- Date: Thu, 2 Sep 2021 03:00:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-03 13:54:39.754050
- Title: Deep Face Video Inpainting via UV Mapping
- Title(参考訳): 紫外線マッピングによるディープフェイス映像の塗布
- Authors: Wenqi Yang, Zhenfang Chen, Chaofeng Chen, Guanying Chen, and Kwan-Yee
K. Wong
- Abstract要約: 本稿では,2段階の深層学習手法を提案する。
我々は、画像空間とUV(テクスチャ)空間の間の顔の変換に先立って、3DMMを我々の3次元顔として採用する。
ステージIでは、UV空間における顔の塗り絵を行う。これにより、顔のポーズや表情の影響を大きく取り除き、適切に整列された顔の特徴によって学習作業がより簡単になる。
ステージIIでは、塗布された顔領域を画像空間に戻し、塗布された顔領域をステージIに塗布しない背景領域に塗布し、塗布された顔領域を改質する。
- 参考スコア(独自算出の注目度): 20.879204880364743
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper addresses the problem of face video inpainting. Existing video
inpainting methods target primarily at natural scenes with repetitive patterns.
They do not make use of any prior knowledge of the face to help retrieve
correspondences for the corrupted face. They therefore only achieve sub-optimal
results, particularly for faces under large pose and expression variations
where face components appear very differently across frames. In this paper, we
propose a two-stage deep learning method for face video inpainting. We employ
3DMM as our 3D face prior to transform a face between the image space and the
UV (texture) space. In Stage I, we perform face inpainting in the UV space.
This helps to largely remove the influence of face poses and expressions and
makes the learning task much easier with well aligned face features. We
introduce a frame-wise attention module to fully exploit correspondences in
neighboring frames to assist the inpainting task. In Stage II, we transform the
inpainted face regions back to the image space and perform face video
refinement that inpaints any background regions not covered in Stage I and also
refines the inpainted face regions. Extensive experiments have been carried out
which show our method can significantly outperform methods based merely on 2D
information, especially for faces under large pose and expression variations.
- Abstract(参考訳): 本稿では,フェースビデオの塗装問題に対処する。
既存の映像塗装法は、主に繰り返しパターンを持つ自然の場面を対象とする。
彼らは、腐敗した顔の対応を取り出すのに、顔の事前の知識を一切利用しない。
したがって、特に大きなポーズの顔と表現のバリエーションにおいて、顔成分がフレーム間で非常に異なる形で現れる場合にのみ、準最適結果が得られる。
本稿では,顔画像の塗装における2段階の深層学習手法を提案する。
画像空間とuv(texture)空間の間で顔を変換する前に、3dmmを3d顔として使用します。
ステージIでは,UV空間で顔の塗り絵を行う。
これにより、顔のポーズや表現の影響を大きく取り除き、適切に整列された顔機能で学習作業がより簡単になる。
本稿では,隣り合うフレームの対応を十分に活用し,塗装作業を支援するフレームアテンションモジュールを提案する。
第2段階では、被塗面領域を画像空間に変換し、第1段階にカバーされていない背景領域を被写体化し、被塗面領域を洗練させる顔映像補正を行う。
提案手法は,2d情報のみに基づいて,特に大きなポーズや表情変化の面に対して,手法を著しく上回ることができることを示す,広範な実験が行われている。
関連論文リスト
- MVInpainter: Learning Multi-View Consistent Inpainting to Bridge 2D and 3D Editing [90.30646271720919]
新規ビュー合成(NVS)と3D生成は、最近顕著に改善されている。
我々はMVInpainterを提案し、3D編集を多視点2Dインペインティングタスクとして再フォーマットする。
MVInpainterは、スクラッチから完全に新しいビューを生成するのではなく、参照ガイダンスで複数のビューイメージを部分的に描き込む。
論文 参考訳(メタデータ) (2024-08-15T07:57:28Z) - 3DFlowRenderer: One-shot Face Re-enactment via Dense 3D Facial Flow Estimation [2.048226951354646]
本研究では、2次元法と3次元法の両方の利点を融合して、頑健な顔再現を実現する新しいワープ技術を提案する。
特徴空間に高密度な3次元顔の流れ場を生成し、深度情報のないターゲット表現に基づいて入力画像をワープする。
これにより、不整合元とターゲットの顔を再実行するための3次元幾何制御が可能となる。
論文 参考訳(メタデータ) (2024-04-23T01:51:58Z) - NeRFiller: Completing Scenes via Generative 3D Inpainting [113.18181179986172]
生成3Dインパインティングによる3Dキャプチャの欠落部分を解消する手法であるNeRFillerを提案する。
関連する作品とは対照的に、前景のオブジェクトを削除するのではなく、シーンの完成に重点を置いている。
論文 参考訳(メタデータ) (2023-12-07T18:59:41Z) - Video2StyleGAN: Encoding Video in Latent Space for Manipulation [63.03250800510085]
本稿では,顔映像のセマンティックな操作のために,顔映像をStyleGANの潜在空間に符号化する新しいネットワークを提案する。
提案手法は,リアルタイム(66fps)の高速化を実現しつつ,既存の単一画像手法よりも大幅に優れる。
論文 参考訳(メタデータ) (2022-06-27T06:48:15Z) - Non-Deterministic Face Mask Removal Based On 3D Priors [3.8502825594372703]
提案手法では,マルチタスクの3次元顔再構成モジュールと顔塗装モジュールを統合する。
本手法は,3次元形状パラメータを徐々に制御することにより,表情や口の動きの異なる高品質な動的塗装結果を生成する。
論文 参考訳(メタデータ) (2022-02-20T16:27:44Z) - SAFA: Structure Aware Face Animation [9.58882272014749]
顔画像の異なる成分をモデル化するために,特定の幾何学的構造を構成する構造認識顔画像(SAFA)手法を提案する。
顔のモデリングには3Dフォーマブルモデル(3DMM)、髪やひげなどの他の前景のコンポーネントをモデル化するための複数のアフィン変換、背景をモデル化するためのアイデンティティ変換を使用します。
3DMMの幾何学的埋め込みは、運転シーンの現実的な構造を生成するだけでなく、生成した画像の隠蔽領域の知覚の向上にも寄与する。
論文 参考訳(メタデータ) (2021-11-09T03:22:38Z) - 3DFaceFill: An Analysis-By-Synthesis Approach to Face Completion [2.0305676256390934]
3DFaceFillは、画像形成過程を明示的に考慮した顔合成のための分析バイシンセシス手法である。
1)顔を構成体3Dメッシュに切り離すエンコーダ、3Dポーズ、照明およびアルベド因子、(2)顔アルベドのUV表現を塗布するオートエンコーダ、(3)完成した顔を再合成するオートエンコーダからなる。
論文 参考訳(メタデータ) (2021-10-20T06:31:47Z) - Pixel Sampling for Style Preserving Face Pose Editing [53.14006941396712]
ジレンマを解くための新しい2段階のアプローチとして,顔のポーズ操作のタスクを顔に塗布する手法を提案する。
入力面から画素を選択的にサンプリングし、その相対位置をわずかに調整することにより、顔編集結果は、画像スタイルとともにアイデンティティ情報を忠実に保持する。
3D顔のランドマークをガイダンスとして、3自由度(ヨー、ピッチ、ロール)で顔のポーズを操作できるので、より柔軟な顔のポーズ編集が可能になる。
論文 参考訳(メタデータ) (2021-06-14T11:29:29Z) - FaceDet3D: Facial Expressions with 3D Geometric Detail Prediction [62.5557724039217]
表情は3d顔形状の様々な高レベルな詳細を誘導する。
人間の顔のモルフォラブルモデル(3DMM)は、PCAベースの表現でそのような細かい詳細をキャプチャできません。
faceet3dは,1つの画像から,任意の対象表現と一致する幾何学的顔詳細を生成する,初歩的な手法である。
論文 参考訳(メタデータ) (2020-12-14T23:07:38Z) - Face Super-Resolution Guided by 3D Facial Priors [92.23902886737832]
シャープな顔構造を把握した3次元顔先行情報を明示的に組み込んだ新しい顔超解像法を提案する。
我々の研究は、顔属性のパラメトリック記述の融合に基づく3次元形態的知識を初めて探求したものである。
提案した3D先行画像は、最先端技術よりも優れた顔超解像結果が得られる。
論文 参考訳(メタデータ) (2020-07-18T15:26:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。