論文の概要: Finding Directions in GAN's Latent Space for Neural Face Reenactment

• arxiv url: http://arxiv.org/abs/2202.00046v1
• Date: Mon, 31 Jan 2022 19:14:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-03 07:27:21.425577
• Title: Finding Directions in GAN's Latent Space for Neural Face Reenactment
• Title（参考訳）: ニューラルフェイス再現のためのgan潜伏空間における方向の探索
• Authors: Stella Bounareli, Vasileios Argyriou, Georgios Tzimiropoulos
• Abstract要約: 本論文は顔/頭部の再現において,対象顔の顔ポーズ(3D頭部の向きと表情)を元顔に転送することが目的である。 我々は、訓練済みの(微調整済みの)GANを使用することで、そのようなネットワークのトレーニングを回避し、異なるアプローチをとる。 GAN潜伏空間に実画像を埋め込むことで,実世界の顔の再現に有効であることを示す。
• 参考スコア（独自算出の注目度）: 45.67273942952348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper is on face/head reenactment where the goal is to transfer the facial pose (3D head orientation and expression) of a target face to a source face. Previous methods focus on learning embedding networks for identity and pose disentanglement which proves to be a rather hard task, degrading the quality of the generated images. We take a different approach, bypassing the training of such networks, by using (fine-tuned) pre-trained GANs which have been shown capable of producing high-quality facial images. Because GANs are characterized by weak controllability, the core of our approach is a method to discover which directions in latent GAN space are responsible for controlling facial pose and expression variations. We present a simple pipeline to learn such directions with the aid of a 3D shape model which, by construction, already captures disentangled directions for facial pose, identity and expression. Moreover, we show that by embedding real images in the GAN latent space, our method can be successfully used for the reenactment of real-world faces. Our method features several favorable properties including using a single source image (one-shot) and enabling cross-person reenactment. Our qualitative and quantitative results show that our approach often produces reenacted faces of significantly higher quality than those produced by state-of-the-art methods for the standard benchmarks of VoxCeleb1 & 2.
• Abstract（参考訳）: 本稿では,対象面の顔面姿勢(3d頭部方向および表情)をソース面に移すことを目標とする顔・頭部の再現について述べる。 従来の手法では、アイデンティティのための埋め込みネットワークの学習と、かなり難しい作業であることが証明され、生成された画像の品質が低下する。 我々は、高品質な顔画像を生成することができる(微調整)訓練済みのGANを使用することで、そのようなネットワークのトレーニングを回避し、異なるアプローチをとる。 GANは弱い制御性によって特徴付けられるため、我々のアプローチの核となるのは、潜伏したGAN空間のどの方向が顔のポーズや表情の変化を制御しているのかを見つける方法である。 本稿では,3次元形状モデルを用いて,顔のポーズやアイデンティティ,表情などに対する不整合な方向を抽出する簡単なパイプラインを提案する。 さらに,GAN潜在空間に実画像を埋め込むことで,実世界の顔の再現に有効であることを示す。 提案手法は, 単一音源画像(ワンショット)の使用や, 対人再現など, いくつかの特性を特徴とする。 定性的かつ定量的な結果から,VoxCeleb1および2の標準ベンチマークに対して,最先端の手法で得られたものよりも高い品質の再現顔を生成する場合が多い。

関連論文リスト

• One-shot Neural Face Reenactment via Finding Directions in GAN's Latent Space [37.357842761713705]
  本稿では,3次元の顔の向きと表情を対象の顔に伝達することを目的とする,ニューラルフェイス/頭部再現のための枠組みを提案する。 提案手法は, 単一音源画像(ワンショット)の使用や, 対人再現など, いくつかの特性を特徴とする。
  論文  参考訳（メタデータ） (2024-02-05T22:12:42Z)
• HyperReenact: One-Shot Reenactment via Jointly Learning to Refine and Retarget Faces [47.27033282706179]
  提案手法は,音源識別のリアルな音声頭部画像を生成することを目的とした,HyperReenactと呼ばれるニューラルフェイス再現法を提案する。 提案手法は, 単発設定(すなわち, 単一音源フレーム)の下で動作し, 被検体固有の微調整を必要とせず, クロスオブジェクトの再現を可能にする。 我々は,VoxCeleb1とVoxCeleb2の標準ベンチマークにおけるいくつかの最先端技術と比較した。
  論文  参考訳（メタデータ） (2023-07-20T11:59:42Z)
• Semantic-aware One-shot Face Re-enactment with Dense Correspondence Estimation [100.60938767993088]
  ワンショットの顔の再現は、ソースと駆動する顔の同一性ミスマッチのため、難しい作業である。 本稿では,3次元形態素モデル(3DMM)を明示的な顔のセマンティックな分解とアイデンティティの絡み合いに利用することを提案する。
  論文  参考訳（メタデータ） (2022-11-23T03:02:34Z)
• Graph-based Generative Face Anonymisation with Pose Preservation [49.18049578591058]
  AnonyGANは、顔の匿名化のためのGANベースのソリューションである。 ソースアイデンティティに対応する視覚情報を、任意の単一のイメージとして提供される条件IDに置き換える。
  論文  参考訳（メタデータ） (2021-12-10T12:58:17Z)
• MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
  本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。 提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。 ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
  論文  参考訳（メタデータ） (2021-11-01T15:53:36Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• Mesh Guided One-shot Face Reenactment using Graph Convolutional Networks [31.083072922977568]
  本稿では,再構成した3Dメッシュを用いて顔合成に必要な光の流れを学習するワンショット顔再現法を提案する。 非対称なオートエンコーダである顔の動きを学習する動きネットを提案する。 提案手法は, 質的, 定量的な比較において, 高品質な結果を生成し, 最先端の手法より優れる。
  論文  参考訳（メタデータ） (2020-08-18T07:41:40Z)
• Head2Head++: Deep Facial Attributes Re-Targeting [6.230979482947681]
  我々は,顔の3次元形状とGANを利用して,顔と頭部の再現作業のための新しいディープラーニングアーキテクチャを設計する。 駆動単眼動作から複雑な非剛性顔の動きを捉え,時間的に一貫した映像を合成する。 我々のシステムは、ほぼリアルタイムでエンドツーエンドの再現(18fps)を行う。
  論文  参考訳（メタデータ） (2020-06-17T23:38:37Z)
• FaR-GAN for One-Shot Face Reenactment [20.894596219099164]
  本稿では,任意の音源の顔画像とターゲット表現のみを入力として用いた一発顔再現モデルFaR-GANを提案する。 提案手法は,音源の同一性,表情,頭部ポーズ,さらには画像背景についても仮定しない。
  論文  参考訳（メタデータ） (2020-05-13T16:15:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。