論文の概要: Face Transformer: Towards High Fidelity and Accurate Face Swapping

• arxiv url: http://arxiv.org/abs/2304.02530v1
• Date: Wed, 5 Apr 2023 15:51:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-06 12:17:12.456981
• Title: Face Transformer: Towards High Fidelity and Accurate Face Swapping
• Title（参考訳）: Face Transformer: 高精度かつ正確なFace Swappingを目指して
• Authors: Kaiwen Cui, Rongliang Wu, Fangneng Zhan, Shijian Lu
• Abstract要約: Face swappingは、ソース顔の同一性とターゲット顔の属性を融合させるスワップ画像を生成することを目的としている。 本稿では,顔の同一性と対象属性を同時に正確に保存できる新しい顔交換ネットワークであるFace Transformerを提案する。
• 参考スコア（独自算出の注目度）: 54.737909435708936
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Face swapping aims to generate swapped images that fuse the identity of source faces and the attributes of target faces. Most existing works address this challenging task through 3D modelling or generation using generative adversarial networks (GANs), but 3D modelling suffers from limited reconstruction accuracy and GANs often struggle in preserving subtle yet important identity details of source faces (e.g., skin colors, face features) and structural attributes of target faces (e.g., face shapes, facial expressions). This paper presents Face Transformer, a novel face swapping network that can accurately preserve source identities and target attributes simultaneously in the swapped face images. We introduce a transformer network for the face swapping task, which learns high-quality semantic-aware correspondence between source and target faces and maps identity features of source faces to the corresponding region in target faces. The high-quality semantic-aware correspondence enables smooth and accurate transfer of source identity information with minimal modification of target shapes and expressions. In addition, our Face Transformer incorporates a multi-scale transformation mechanism for preserving the rich fine facial details. Extensive experiments show that our Face Transformer achieves superior face swapping performance qualitatively and quantitatively.
• Abstract（参考訳）: Face swappingは、ソース顔とターゲット顔の属性を融合させるスワップ画像を生成することを目的としている。 既存の研究の多くは、生成的敵対ネットワーク(GAN)を用いた3Dモデリングや生成を通じてこの課題に対処しているが、3Dモデリングは限られた再構成精度に悩まされており、GANはソース顔(例えば、肌の色、顔の特徴)とターゲット顔の構造的特性(例えば、顔の形、表情)の微妙で重要な識別情報を保存するのに苦慮している。 本稿では,顔画像のソースidと対象属性を正確に保持できる新しい顔スワップネットワークであるface transformerを提案する。 顔交換タスクのためのトランスフォーマーネットワークを導入し、音源と対象顔の高品質な意味認識対応を学習し、対象顔の対応する領域にソース顔の識別特徴をマップする。 高品質なセマンティック・アウェア対応により、ターゲット形状や表現の修正を最小限に抑えつつ、ソース識別情報のスムーズかつ正確な転送が可能となる。 さらに、当社のFace Transformerには、豊富な顔の詳細を保存するためのマルチスケール変換機構が組み込まれています。 広範な実験により, 顔の交換性能が質的, 定量的に向上したことを示す。

関連論文リスト

• G2Face: High-Fidelity Reversible Face Anonymization via Generative and Geometric Priors [71.69161292330504]
  可逆顔匿名化(Reversible face anonymization)は、顔画像の繊細なアイデンティティ情報を、合成された代替品に置き換えようとしている。 本稿では,Gtextsuperscript2Faceを提案する。 提案手法は,高データの有効性を保ちながら,顔の匿名化と回復において既存の最先端技術よりも優れる。
  論文  参考訳（メタデータ） (2024-08-18T12:36:47Z)
• High-Fidelity Face Swapping with Style Blending [16.024260677867076]
  高忠実な顔交換のための革新的なエンドツーエンドフレームワークを提案する。 まず、スタイルGANベースの顔属性エンコーダを導入し、顔から重要な特徴を抽出し、潜在スタイルコードに変換する。 第二に、ターゲットからターゲットへFace IDを効果的に転送するアテンションベースのスタイルブレンディングモジュールを導入する。
  論文  参考訳（メタデータ） (2023-12-17T23:22:37Z)
• FlowFace: Semantic Flow-guided Shape-aware Face Swapping [43.166181219154936]
  本稿では,形状認識型顔交換のためのセマンティックフロー誘導2段階フレームワークであるFlowFaceを提案する。 FlowFaceは、フェイスリフォームネットワークとフェイススワップネットワークで構成されています。 我々は、訓練済みの顔マスク付きオートエンコーダを用いて、顔と顔の両方から顔の特徴を抽出する。
  論文  参考訳（メタデータ） (2022-12-06T07:23:39Z)
• FaceFormer: Scale-aware Blind Face Restoration with Transformers [18.514630131883536]
  そこで我々は,顔の特徴回復をスケール・アウェア・トランスフォーメーションとして定式化する,FaceFormerという新しい顔修復フレームワークを提案する。 提案手法は, 合成データセットを用いて, 現在の最先端画像よりも, 自然な低品質画像を一般化する。
  論文  参考訳（メタデータ） (2022-07-20T10:08:34Z)
• FaceTuneGAN: Face Autoencoder for Convolutional Expression Transfer Using Neural Generative Adversarial Networks [0.7043489166804575]
  顔の識別と表情を分離して符号化する新しい3次元顔モデル表現であるFaceTuneGANを提案する。 本稿では,2次元領域で使用されている画像と画像の変換ネットワークを3次元顔形状に適応させる手法を提案する。
  論文  参考訳（メタデータ） (2021-12-01T14:42:03Z)
• TANet: A new Paradigm for Global Face Super-resolution via Transformer-CNN Aggregation Network [72.41798177302175]
  本稿では, 顔構造特徴の表現能力を完全に探求する自己認識機構(すなわち Transformer のコア)に基づく新しいパラダイムを提案する。 具体的には、2つの経路からなるTransformer-CNNアグリゲーションネットワーク(TANet)を設計する。 上記の2つの経路から特徴を集約することにより、グローバルな顔の構造の整合性と局所的な顔のディテール復元の忠実度を同時に強化する。
  論文  参考訳（メタデータ） (2021-09-16T18:15:07Z)
• HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
  本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。 本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
  論文  参考訳（メタデータ） (2021-06-18T07:39:09Z)
• Facial Attribute Transformers for Precise and Robust Makeup Transfer [79.41060385695977]
  高品質な化粧品転写のための新しい顔属性変換器(FAT)とその変種空間FATを提案する。 fatは、ソースの顔と参照顔の間の意味的対応とインタラクションをモデル化し、その顔属性を正確に推定し、転送することができる。 また、薄いプレートスプライン(TPS)をFATに統合し、色やテクスチャに加えて幾何学的属性を転送できる最初の方法である空間FATを作成します。
  論文  参考訳（メタデータ） (2021-04-07T03:39:02Z)
• DotFAN: A Domain-transferred Face Augmentation Network for Pose and Illumination Invariant Face Recognition [94.96686189033869]
  本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。 DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。 実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
  論文  参考訳（メタデータ） (2020-02-23T08:16:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。