論文の概要: FlowFace: Semantic Flow-guided Shape-aware Face Swapping

• arxiv url: http://arxiv.org/abs/2212.02797v1
• Date: Tue, 6 Dec 2022 07:23:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 15:48:48.428437
• Title: FlowFace: Semantic Flow-guided Shape-aware Face Swapping
• Title（参考訳）: flowface: セマンティックフロー誘導型シェイプアウェアフェイススワップ
• Authors: Hao Zeng, Wei Zhang, Changjie Fan, Tangjie Lv, Suzhen Wang, Zhimeng Zhang, Bowen Ma, Lincheng Li, Yu Ding, Xin Yu
• Abstract要約: 本稿では,形状認識型顔交換のためのセマンティックフロー誘導2段階フレームワークであるFlowFaceを提案する。 FlowFaceは、フェイスリフォームネットワークとフェイススワップネットワークで構成されています。 我々は、訓練済みの顔マスク付きオートエンコーダを用いて、顔と顔の両方から顔の特徴を抽出する。
• 参考スコア（独自算出の注目度）: 43.166181219154936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we propose a semantic flow-guided two-stage framework for shape-aware face swapping, namely FlowFace. Unlike most previous methods that focus on transferring the source inner facial features but neglect facial contours, our FlowFace can transfer both of them to a target face, thus leading to more realistic face swapping. Concretely, our FlowFace consists of a face reshaping network and a face swapping network. The face reshaping network addresses the shape outline differences between the source and target faces. It first estimates a semantic flow (i.e., face shape differences) between the source and the target face, and then explicitly warps the target face shape with the estimated semantic flow. After reshaping, the face swapping network generates inner facial features that exhibit the identity of the source face. We employ a pre-trained face masked autoencoder (MAE) to extract facial features from both the source face and the target face. In contrast to previous methods that use identity embedding to preserve identity information, the features extracted by our encoder can better capture facial appearances and identity information. Then, we develop a cross-attention fusion module to adaptively fuse inner facial features from the source face with the target facial attributes, thus leading to better identity preservation. Extensive quantitative and qualitative experiments on in-the-wild faces demonstrate that our FlowFace outperforms the state-of-the-art significantly.
• Abstract（参考訳）: 本稿では,形状認識型顔スワッピングのための意味的フロー誘導二段階フレームワーク,flowfaceを提案する。 元の顔の特徴を転送するが顔の輪郭を無視する従来の方法とは異なり、FlowFaceはどちらもターゲットの顔に転送できるため、よりリアルな顔交換が可能になる。 具体的には、フローフェイスはフェイスリシェーピングネットワークとフェイススワッピングネットワークで構成されています。 顔再構成ネットワークは、ソース面とターゲット面との形状輪郭差に対処する。 まず、ソースとターゲットの顔の間のセマンティックフロー(すなわち、顔形状の違い)を推定し、次に、推定されたセマンティックフローでターゲットの顔形状を明示的に警告する。 再構成後、顔交換ネットワークは、元の顔の同一性を示す内面特徴を生成する。 顔マスキングオートエンコーダ(mae)を用いて,顔のソースと対象の顔の両方から顔の特徴を抽出する。 アイデンティティ情報を保存するためにアイデンティティ埋め込みを使った従来の手法とは対照的に,エンコーダが抽出した特徴は顔の外観やアイデンティティ情報をよりよく捉えることができる。 そこで,本研究では,顔の特徴を対象の顔属性と適応的に融合させるクロスアテンション融合モジュールを開発した。 広汎な定量および定性的実験は、私たちのFlowFaceが最先端を著しく上回ることを示した。

関連論文リスト

• OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
  拡散モデルは、顔の修復において顕著な性能を示した。 顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。 その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-26T07:07:48Z)
• FlowFace++: Explicit Semantic Flow-supervised End-to-End Face Swapping [28.714484307143927]
  FlowFace++は、明示的なセマンティックフローの監視とエンドツーエンドアーキテクチャを利用する、新しいフェイススワッピングフレームワークである。 識別器は形状を意識しており、ターゲット面とソース面との間の形状の相違を明示的に計算する意味フロー誘導操作に依存している。
  論文  参考訳（メタデータ） (2023-06-22T06:18:29Z)
• ReliableSwap: Boosting General Face Swapping Via Reliable Supervision [9.725105108879717]
  本稿では,訓練中に対象とソースの同一性が異なる場合のイメージレベルのガイダンスとして機能する,サイクルトリプレットと呼ばれる信頼性の高い監視機能を構築することを提案する。 具体的には,顔の再現とブレンディング技術を用いて,前もって実際の画像からスワップされた顔の合成を行う。 フェーススワッピングフレームワークであるReliableSwapは、既存のフェースワップネットワークの性能を無視できるオーバーヘッドで向上させることができる。
  論文  参考訳（メタデータ） (2023-06-08T17:01:14Z)
• Face Transformer: Towards High Fidelity and Accurate Face Swapping [54.737909435708936]
  Face swappingは、ソース顔の同一性とターゲット顔の属性を融合させるスワップ画像を生成することを目的としている。 本稿では,顔の同一性と対象属性を同時に正確に保存できる新しい顔交換ネットワークであるFace Transformerを提案する。
  論文  参考訳（メタデータ） (2023-04-05T15:51:44Z)
• Learning Facial Representations from the Cycle-consistency of Face [23.23272327438177]
  顔特徴の周期一貫性を自由監督信号として導入し、ラベルのない顔画像から顔の表情を学習する。 この学習は、顔の動きサイクルの制約とアイデンティティのサイクルの制約を重畳することによって実現される。 我々のアプローチは既存の手法と競合し、アンタングル表現に埋め込まれたリッチでユニークな情報を実証する。
  論文  参考訳（メタデータ） (2021-08-07T11:30:35Z)
• HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
  本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。 本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
  論文  参考訳（メタデータ） (2021-06-18T07:39:09Z)
• DotFAN: A Domain-transferred Face Augmentation Network for Pose and Illumination Invariant Face Recognition [94.96686189033869]
  本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。 DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。 実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
  論文  参考訳（メタデータ） (2020-02-23T08:16:34Z)
• Exploiting Semantics for Face Image Deblurring [121.44928934662063]
  本稿では,深層畳み込みニューラルネットワークによる意味的手がかりを利用して,効果的かつ効率的な顔分解アルゴリズムを提案する。 顔のセマンティックラベルを入力先として組み込んで,顔の局所構造を正規化するための適応的構造損失を提案する。 提案手法は、より正確な顔の特徴と細部を持つシャープ画像を復元する。
  論文  参考訳（メタデータ） (2020-01-19T13:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。