論文の概要: Mesh Guided One-shot Face Reenactment using Graph Convolutional Networks
- arxiv url: http://arxiv.org/abs/2008.07783v2
- Date: Fri, 18 Sep 2020 11:21:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 21:41:14.350102
- Title: Mesh Guided One-shot Face Reenactment using Graph Convolutional Networks
- Title（参考訳）: グラフ畳み込みネットワークを用いたメッシュ誘導ワンショット顔再現
- Authors: Guangming Yao, Yi Yuan, Tianjia Shao, Kun Zhou
- Abstract要約: 本稿では,再構成した3Dメッシュを用いて顔合成に必要な光の流れを学習するワンショット顔再現法を提案する。
非対称なオートエンコーダである顔の動きを学習する動きネットを提案する。
提案手法は, 質的, 定量的な比較において, 高品質な結果を生成し, 最先端の手法より優れる。
- 参考スコア（独自算出の注目度）: 31.083072922977568
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Face reenactment aims to animate a source face image to a different pose and
expression provided by a driving image. Existing approaches are either designed
for a specific identity, or suffer from the identity preservation problem in
the one-shot or few-shot scenarios. In this paper, we introduce a method for
one-shot face reenactment, which uses the reconstructed 3D meshes (i.e., the
source mesh and driving mesh) as guidance to learn the optical flow needed for
the reenacted face synthesis. Technically, we explicitly exclude the driving
face's identity information in the reconstructed driving mesh. In this way, our
network can focus on the motion estimation for the source face without the
interference of driving face shape. We propose a motion net to learn the face
motion, which is an asymmetric autoencoder. The encoder is a graph
convolutional network (GCN) that learns a latent motion vector from the meshes,
and the decoder serves to produce an optical flow image from the latent vector
with CNNs. Compared to previous methods using sparse keypoints to guide the
optical flow learning, our motion net learns the optical flow directly from 3D
dense meshes, which provide the detailed shape and pose information for the
optical flow, so it can achieve more accurate expression and pose on the
reenacted face. Extensive experiments show that our method can generate
high-quality results and outperforms state-of-the-art methods in both
qualitative and quantitative comparisons.
- Abstract（参考訳）: 顔再現は、駆動画像によって提供される異なるポーズと表現にソースの顔画像をアニメーションすることを目的としている。
既存のアプローチは特定のアイデンティティのために設計されているか、ワンショットまたは数ショットのシナリオでアイデンティティ保存の問題に悩まされている。
本稿では、再構成された3Dメッシュ(すなわち、ソースメッシュと駆動メッシュ)を誘導として、再構成された顔合成に必要な光の流れを学習するワンショット顔再現法を提案する。
技術的には、再建された駆動メッシュにおいて、運転顔の識別情報を明示的に除外する。
このように、本ネットワークは、駆動面形状の干渉を伴わずに、音源面の運動推定に焦点を合わせることができる。
非対称オートエンコーダである顔の動きを学習するための運動ネットを提案する。
エンコーダはメッシュから潜動ベクトルを学習するグラフ畳み込みネットワーク(GCN)であり、デコーダは潜動ベクトルからCNNによる光フロー画像を生成する。
光フロー学習を導くためにスパースキーポイントを用いた従来の方法と比較して、モーションネットは3次元高密度メッシュから直接光学フローを学習し、光学フローの詳細な形状とポーズ情報を提供し、より正確な表現と再現された顔のポーズを実現できる。
大規模実験により,本手法は質的,定量的両比較において,高品質な結果が得られ,最先端の手法よりも優れることが示された。
関連論文リスト
- G3FA: Geometry-guided GAN for Face Animation [14.488117084637631]
この制限に対処するために、顔アニメーション(G3FA)のための幾何学誘導型GANを導入する。
我々の新しいアプローチは、顔アニメーションモデルに2次元画像のみを用いて3次元情報を組み込むことを可能にした。
顔の再現モデルでは、動きのダイナミクスを捉えるために2次元の運動ワープを利用する。
論文 参考訳（メタデータ） (2024-08-23T13:13:24Z) - FSRT: Facial Scene Representation Transformer for Face Reenactment from Factorized Appearance, Head-pose, and Facial Expression Features [17.531847357428454]
顔再現の課題は、頭部の動きと表情を駆動ビデオからソース画像の外観に転送することである。
既存の手法の多くはCNNベースであり、ソース画像から現在の駆動フレームへの光の流れを推定する。
本稿では,ソースコードのセットラテント表現を演算するためのトランスフォーマーベースのエンコーダを提案する。
論文 参考訳（メタデータ） (2024-04-15T12:37:26Z) - One-shot Neural Face Reenactment via Finding Directions in GAN's Latent
Space [37.357842761713705]
本稿では,3次元の顔の向きと表情を対象の顔に伝達することを目的とする,ニューラルフェイス/頭部再現のための枠組みを提案する。
提案手法は, 単一音源画像(ワンショット)の使用や, 対人再現など, いくつかの特性を特徴とする。
論文 参考訳（メタデータ） (2024-02-05T22:12:42Z) - Semantic-aware One-shot Face Re-enactment with Dense Correspondence
Estimation [100.60938767993088]
ワンショットの顔の再現は、ソースと駆動する顔の同一性ミスマッチのため、難しい作業である。
本稿では,3次元形態素モデル(3DMM)を明示的な顔のセマンティックな分解とアイデンティティの絡み合いに利用することを提案する。
論文 参考訳（メタデータ） (2022-11-23T03:02:34Z) - Video2StyleGAN: Encoding Video in Latent Space for Manipulation [63.03250800510085]
本稿では,顔映像のセマンティックな操作のために,顔映像をStyleGANの潜在空間に符号化する新しいネットワークを提案する。
提案手法は,リアルタイム(66fps)の高速化を実現しつつ,既存の単一画像手法よりも大幅に優れる。
論文 参考訳（メタデータ） (2022-06-27T06:48:15Z) - Finding Directions in GAN's Latent Space for Neural Face Reenactment [45.67273942952348]
本論文は顔/頭部の再現において,対象顔の顔ポーズ(3D頭部の向きと表情)を元顔に転送することが目的である。
我々は、訓練済みの(微調整済みの)GANを使用することで、そのようなネットワークのトレーニングを回避し、異なるアプローチをとる。
GAN潜伏空間に実画像を埋め込むことで,実世界の顔の再現に有効であることを示す。
論文 参考訳（メタデータ） (2022-01-31T19:14:03Z) - Face Forgery Detection by 3D Decomposition [72.22610063489248]
顔画像は、基礎となる3次元幾何学と照明環境の介入の産物とみなす。
顔画像を3次元形状、共通テクスチャ、アイデンティティテクスチャ、周囲光、そして直接光に切り離すことで、悪魔は直接光とアイデンティティテクスチャの中に横たわる。
直接光と識別テクスチャを組み合わせた顔のディテールを,微妙な偽造パターンを検出する手がかりとして活用することを提案する。
論文 参考訳（メタデータ） (2020-11-19T09:25:44Z) - Head2Head++: Deep Facial Attributes Re-Targeting [6.230979482947681]
我々は,顔の3次元形状とGANを利用して,顔と頭部の再現作業のための新しいディープラーニングアーキテクチャを設計する。
駆動単眼動作から複雑な非剛性顔の動きを捉え,時間的に一貫した映像を合成する。
我々のシステムは、ほぼリアルタイムでエンドツーエンドの再現(18fps)を行う。
論文 参考訳（メタデータ） (2020-06-17T23:38:37Z) - DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。
私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。
登録された画像に対して,60fpsで3次元フローマップを生成する。
論文 参考訳（メタデータ） (2020-05-14T23:56:48Z) - Self-Supervised Linear Motion Deblurring [112.75317069916579]
深層畳み込みニューラルネットワークは、画像の劣化の最先端技術である。
本稿では,自己監督型動作遅延に対する識別可能なreblurモデルを提案する。
我々の実験は、自己監督された単一画像の劣化が本当に実現可能であることを実証した。
論文 参考訳（メタデータ） (2020-02-10T20:15:21Z) - Exploiting Semantics for Face Image Deblurring [121.44928934662063]
本稿では,深層畳み込みニューラルネットワークによる意味的手がかりを利用して,効果的かつ効率的な顔分解アルゴリズムを提案する。
顔のセマンティックラベルを入力先として組み込んで,顔の局所構造を正規化するための適応的構造損失を提案する。
提案手法は、より正確な顔の特徴と細部を持つシャープ画像を復元する。
論文 参考訳（メタデータ） (2020-01-19T13:06:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。