論文の概要: Head2Head++: Deep Facial Attributes Re-Targeting
- arxiv url: http://arxiv.org/abs/2006.10199v2
- Date: Tue, 28 Sep 2021 15:01:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 20:47:17.634624
- Title: Head2Head++: Deep Facial Attributes Re-Targeting
- Title（参考訳）: head2head++: 深い顔属性の再ターゲティング
- Authors: Michail Christos Doukas, Mohammad Rami Koujan, Viktoriia Sharmanska,
Anastasios Roussos
- Abstract要約: 我々は,顔の3次元形状とGANを利用して,顔と頭部の再現作業のための新しいディープラーニングアーキテクチャを設計する。
駆動単眼動作から複雑な非剛性顔の動きを捉え,時間的に一貫した映像を合成する。
我々のシステムは、ほぼリアルタイムでエンドツーエンドの再現(18fps)を行う。
- 参考スコア（独自算出の注目度）: 6.230979482947681
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Facial video re-targeting is a challenging problem aiming to modify the
facial attributes of a target subject in a seamless manner by a driving
monocular sequence. We leverage the 3D geometry of faces and Generative
Adversarial Networks (GANs) to design a novel deep learning architecture for
the task of facial and head reenactment. Our method is different to purely 3D
model-based approaches, or recent image-based methods that use Deep
Convolutional Neural Networks (DCNNs) to generate individual frames. We manage
to capture the complex non-rigid facial motion from the driving monocular
performances and synthesise temporally consistent videos, with the aid of a
sequential Generator and an ad-hoc Dynamics Discriminator network. We conduct a
comprehensive set of quantitative and qualitative tests and demonstrate
experimentally that our proposed method can successfully transfer facial
expressions, head pose and eye gaze from a source video to a target subject, in
a photo-realistic and faithful fashion, better than other state-of-the-art
methods. Most importantly, our system performs end-to-end reenactment in nearly
real-time speed (18 fps).
- Abstract（参考訳）: 顔映像再ターゲティングは、被写体の顔属性を運転単眼列によりシームレスに修正することを目的とした課題である。
顔の3次元形状とgans(generative adversarial network)を利用して、顔と頭部の再現のための新しいディープラーニングアーキテクチャを設計した。
本手法は,深層畳み込みニューラルネットワーク(dcnn)を用いて個々のフレームを生成する,純粋に3次元モデルに基づくアプローチや,最近の画像ベース手法とは異なる。
運転単眼動作から複雑な非剛性顔の動きを捉え,シーケンシャル・ジェネレータとアドホック・ダイナミクス・判別ネットワークの助けを借りて,時間的一貫性のある映像を合成する。
定量的・質的実験を総合的に実施し,提案手法が表情,頭部ポーズ,視線を音源映像から対象者へ,他の最先端手法よりも忠実でフォトリアリスティックな方法で伝達できることを実験的に実証した。
また,本システムでは,ほぼリアルタイムで(18fps)のエンド・ツー・エンドの再現を行う。
関連論文リスト
- GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。
本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。
我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
論文 参考訳（メタデータ） (2024-09-18T13:05:43Z) - G3FA: Geometry-guided GAN for Face Animation [14.488117084637631]
この制限に対処するために、顔アニメーション(G3FA)のための幾何学誘導型GANを導入する。
我々の新しいアプローチは、顔アニメーションモデルに2次元画像のみを用いて3次元情報を組み込むことを可能にした。
顔の再現モデルでは、動きのダイナミクスを捉えるために2次元の運動ワープを利用する。
論文 参考訳（メタデータ） (2024-08-23T13:13:24Z) - High-fidelity Facial Avatar Reconstruction from Monocular Video with
Generative Priors [29.293166730794606]
そこで本研究では,3次元認識による顔アバターの再構成手法を提案する。
既存の作品と比較すると、優れた新規ビュー合成結果と忠実に再現性能が得られる。
論文 参考訳（メタデータ） (2022-11-28T04:49:46Z) - Dynamic Neural Portraits [58.480811535222834]
フルヘッド再現問題に対する新しいアプローチであるDynamic Neural Portraitsを提案する。
本手法は,頭部ポーズ,表情,視線を明示的に制御し,写実的な映像像を生成する。
実験の結果,提案手法は最近のNeRF法よりも270倍高速であることがわかった。
論文 参考訳（メタデータ） (2022-11-25T10:06:14Z) - Video2StyleGAN: Encoding Video in Latent Space for Manipulation [63.03250800510085]
本稿では,顔映像のセマンティックな操作のために,顔映像をStyleGANの潜在空間に符号化する新しいネットワークを提案する。
提案手法は,リアルタイム(66fps)の高速化を実現しつつ,既存の単一画像手法よりも大幅に優れる。
論文 参考訳（メタデータ） (2022-06-27T06:48:15Z) - Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。
私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
論文 参考訳（メタデータ） (2021-05-31T02:30:11Z) - Head2Head: Video-based Neural Head Synthesis [50.32988828989691]
顔再現のための新しい機械学習アーキテクチャを提案する。
提案手法は, 顔の表情, ポーズ, 視線を, 最先端の手法よりも正確に写実的な方法で対象映像に転送できることを示す。
論文 参考訳（メタデータ） (2020-05-22T00:44:43Z) - DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。
私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。
登録された画像に対して,60fpsで3次元フローマップを生成する。
論文 参考訳（メタデータ） (2020-05-14T23:56:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。