論文の概要: One-shot Neural Face Reenactment via Finding Directions in GAN's Latent Space

• arxiv url: http://arxiv.org/abs/2402.03553v1
• Date: Mon, 5 Feb 2024 22:12:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 17:34:24.247165
• Title: One-shot Neural Face Reenactment via Finding Directions in GAN's Latent Space
• Title（参考訳）: GANの潜在空間における方向検出によるワンショットニューラルフェイス再現
• Authors: Stella Bounareli, Christos Tzelepis, Vasileios Argyriou, Ioannis Patras, Georgios Tzimiropoulos
• Abstract要約: 本稿では,3次元の顔の向きと表情を対象の顔に伝達することを目的とする,ニューラルフェイス/頭部再現のための枠組みを提案する。 提案手法は, 単一音源画像(ワンショット)の使用や, 対人再現など, いくつかの特性を特徴とする。
• 参考スコア（独自算出の注目度）: 37.357842761713705
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper, we present our framework for neural face/head reenactment whose goal is to transfer the 3D head orientation and expression of a target face to a source face. Previous methods focus on learning embedding networks for identity and head pose/expression disentanglement which proves to be a rather hard task, degrading the quality of the generated images. We take a different approach, bypassing the training of such networks, by using (fine-tuned) pre-trained GANs which have been shown capable of producing high-quality facial images. Because GANs are characterized by weak controllability, the core of our approach is a method to discover which directions in latent GAN space are responsible for controlling head pose and expression variations. We present a simple pipeline to learn such directions with the aid of a 3D shape model which, by construction, inherently captures disentangled directions for head pose, identity, and expression. Moreover, we show that by embedding real images in the GAN latent space, our method can be successfully used for the reenactment of real-world faces. Our method features several favorable properties including using a single source image (one-shot) and enabling cross-person reenactment. Extensive qualitative and quantitative results show that our approach typically produces reenacted faces of notably higher quality than those produced by state-of-the-art methods for the standard benchmarks of VoxCeleb1 & 2.
• Abstract（参考訳）: 本稿では,3次元顔の向きと表情を元顔に転送することを目的とした,ニューラルフェイス/頭部再現のための枠組みを提案する。 従来の手法では、アイデンティティと頭の位置/表情の不等角性のための埋め込みネットワークの学習に重点を置いており、これはかなり難しい作業であり、生成された画像の品質が低下することを示している。 我々は、高品質な顔画像を生成することができる(微調整)訓練済みのGANを使用することで、そのようなネットワークのトレーニングを回避し、異なるアプローチをとる。 GANは制御性の弱さを特徴とするので,本手法のコアとなるのは,GAN空間のどの方向が頭部のポーズや表現の変動を制御するかを知る方法である。 本稿では,3次元形状モデルを用いて,頭部のポーズ,アイデンティティ,表現のための非交叉方向を本質的にキャプチャする簡単なパイプラインを提案する。 さらに,GAN潜在空間に実画像を埋め込むことで,実世界の顔の再現に有効であることを示す。 提案手法は, 単一音源画像(ワンショット)の使用や, 対人再現など, いくつかの特性を特徴とする。 広範な質的定量的な結果から,本手法はvoxceleb1と2の標準ベンチマークにおいて,最先端の手法で生成した顔よりも高い品質で再現された顔を生成する。

関連論文リスト

• HyperReenact: One-Shot Reenactment via Jointly Learning to Refine and Retarget Faces [47.27033282706179]
  提案手法は,音源識別のリアルな音声頭部画像を生成することを目的とした,HyperReenactと呼ばれるニューラルフェイス再現法を提案する。 提案手法は, 単発設定(すなわち, 単一音源フレーム)の下で動作し, 被検体固有の微調整を必要とせず, クロスオブジェクトの再現を可能にする。 我々は,VoxCeleb1とVoxCeleb2の標準ベンチマークにおけるいくつかの最先端技術と比較した。
  論文  参考訳（メタデータ） (2023-07-20T11:59:42Z)
• Neural Point-based Volumetric Avatar: Surface-guided Neural Points for Efficient and Photorealistic Volumetric Head Avatar [62.87222308616711]
  ニューラルポイント表現とニューラルボリュームレンダリングプロセスを採用したフルネーム(名前)を提案する。 具体的には、ニューラルポイントは高分解能UV変位マップを介してターゲット表現の表面を戦略的に拘束する。 設計上は,アバターをアニメーションする際の正確な表現制御を確保しつつ,地形的に変化する領域や細い構造を扱えるように設計されている。
  論文  参考訳（メタデータ） (2023-07-11T03:40:10Z)
• Semantic-aware One-shot Face Re-enactment with Dense Correspondence Estimation [100.60938767993088]
  ワンショットの顔の再現は、ソースと駆動する顔の同一性ミスマッチのため、難しい作業である。 本稿では,3次元形態素モデル(3DMM)を明示的な顔のセマンティックな分解とアイデンティティの絡み合いに利用することを提案する。
  論文  参考訳（メタデータ） (2022-11-23T03:02:34Z)
• Finding Directions in GAN's Latent Space for Neural Face Reenactment [45.67273942952348]
  本論文は顔/頭部の再現において,対象顔の顔ポーズ(3D頭部の向きと表情)を元顔に転送することが目的である。 我々は、訓練済みの(微調整済みの)GANを使用することで、そのようなネットワークのトレーニングを回避し、異なるアプローチをとる。 GAN潜伏空間に実画像を埋め込むことで,実世界の顔の再現に有効であることを示す。
  論文  参考訳（メタデータ） (2022-01-31T19:14:03Z)
• MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
  本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。 提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。 ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
  論文  参考訳（メタデータ） (2021-11-01T15:53:36Z)
• One-shot Face Reenactment Using Appearance Adaptive Normalization [30.615671641713945]
  本稿では,一発顔再現のための新しい生成的対向ネットワークを提案する。 1枚の顔画像を別のポーズ・アンド・エクスプレッションにアニメーションし、元の外観を保ちます。
  論文  参考訳（メタデータ） (2021-02-08T03:36:30Z)
• Mesh Guided One-shot Face Reenactment using Graph Convolutional Networks [31.083072922977568]
  本稿では,再構成した3Dメッシュを用いて顔合成に必要な光の流れを学習するワンショット顔再現法を提案する。 非対称なオートエンコーダである顔の動きを学習する動きネットを提案する。 提案手法は, 質的, 定量的な比較において, 高品質な結果を生成し, 最先端の手法より優れる。
  論文  参考訳（メタデータ） (2020-08-18T07:41:40Z)
• Head2Head++: Deep Facial Attributes Re-Targeting [6.230979482947681]
  我々は,顔の3次元形状とGANを利用して,顔と頭部の再現作業のための新しいディープラーニングアーキテクチャを設計する。 駆動単眼動作から複雑な非剛性顔の動きを捉え,時間的に一貫した映像を合成する。 我々のシステムは、ほぼリアルタイムでエンドツーエンドの再現(18fps)を行う。
  論文  参考訳（メタデータ） (2020-06-17T23:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。