論文の概要: FlowFace++: Explicit Semantic Flow-supervised End-to-End Face Swapping
- arxiv url: http://arxiv.org/abs/2306.12686v2
- Date: Mon, 26 Jun 2023 05:11:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 10:22:55.978738
- Title: FlowFace++: Explicit Semantic Flow-supervised End-to-End Face Swapping
- Title（参考訳）: FlowFace++: セマンティックフローを教師するエンドツーエンドの顔スワッピング
- Authors: Yu Zhang, Hao Zeng, Bowen Ma, Wei Zhang, Zhimeng Zhang, Yu Ding,
Tangjie Lv, Changjie Fan
- Abstract要約: FlowFace++は、明示的なセマンティックフローの監視とエンドツーエンドアーキテクチャを利用する、新しいフェイススワッピングフレームワークである。
識別器は形状を意識しており、ターゲット面とソース面との間の形状の相違を明示的に計算する意味フロー誘導操作に依存している。
- 参考スコア（独自算出の注目度）: 28.714484307143927
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work proposes a novel face-swapping framework FlowFace++, utilizing
explicit semantic flow supervision and end-to-end architecture to facilitate
shape-aware face-swapping. Specifically, our work pretrains a facial shape
discriminator to supervise the face swapping network. The discriminator is
shape-aware and relies on a semantic flow-guided operation to explicitly
calculate the shape discrepancies between the target and source faces, thus
optimizing the face swapping network to generate highly realistic results. The
face swapping network is a stack of a pre-trained face-masked autoencoder
(MAE), a cross-attention fusion module, and a convolutional decoder. The MAE
provides a fine-grained facial image representation space, which is unified for
the target and source faces and thus facilitates final realistic results. The
cross-attention fusion module carries out the source-to-target face swapping in
a fine-grained latent space while preserving other attributes of the target
image (e.g. expression, head pose, hair, background, illumination, etc).
Lastly, the convolutional decoder further synthesizes the swapping results
according to the face-swapping latent embedding from the cross-attention fusion
module. Extensive quantitative and qualitative experiments on in-the-wild faces
demonstrate that our FlowFace++ outperforms the state-of-the-art significantly,
particularly while the source face is obstructed by uneven lighting or angle
offset.
- Abstract（参考訳）: 本研究は、明示的な意味的フロー監督とエンドツーエンドアーキテクチャを利用して、シェイプアウェアなフェイススワッピングを容易にする新しいフェイススワッピングフレームワークflowface++を提案する。
具体的には、顔形状判別器を事前訓練し、顔交換ネットワークを監督する。
識別器は形状を認識でき、対象面とソース面との形状の相違を明示的に計算するため、セマンティックフロー誘導操作により、顔交換ネットワークを最適化し、極めて現実的な結果を生成する。
顔交換ネットワークは、事前訓練された顔マスク式オートエンコーダ(mae)、クロスアテンション融合モジュール、畳み込みデコーダのスタックである。
MAEは、ターゲットとソースの顔に統一されたきめ細かい顔画像表現空間を提供し、最終的な現実的な結果を促進する。
クロスアテンション融合モジュールは、ターゲット画像の他の属性(表情、頭部ポーズ、髪型、背景、照明など)を保存しつつ、細粒度の潜在空間でソースからターゲットへの顔交換を行う。
最後に、畳み込み復号器は、クロスアテンション融合モジュールからのフェイススワッピング潜水埋め込みに応じてスワップ結果をさらに合成する。
in-the-wild faceに関する広範囲な定量的・定性的な実験は、flowface++が最先端を著しく上回っていることを示している。
関連論文リスト
- OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
拡散モデルは、顔の修復において顕著な性能を示した。
顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。
その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
論文 参考訳（メタデータ） (2024-11-26T07:07:48Z) - Face Transformer: Towards High Fidelity and Accurate Face Swapping [54.737909435708936]
Face swappingは、ソース顔の同一性とターゲット顔の属性を融合させるスワップ画像を生成することを目的としている。
本稿では,顔の同一性と対象属性を同時に正確に保存できる新しい顔交換ネットワークであるFace Transformerを提案する。
論文 参考訳（メタデータ） (2023-04-05T15:51:44Z) - End-to-end Face-swapping via Adaptive Latent Representation Learning [12.364688530047786]
本稿では,高精細・高精細・高精細・高精細・高精細な顔交換のための新しいエンドツーエンド統合フレームワークを提案する。
顔の知覚とブレンドをエンドツーエンドのトレーニングとテストのプロセスに統合することで、野生の顔に高いリアルな顔スワッピングを実現することができる。
論文 参考訳（メタデータ） (2023-03-07T19:16:20Z) - FlowFace: Semantic Flow-guided Shape-aware Face Swapping [43.166181219154936]
本稿では,形状認識型顔交換のためのセマンティックフロー誘導2段階フレームワークであるFlowFaceを提案する。
FlowFaceは、フェイスリフォームネットワークとフェイススワップネットワークで構成されています。
我々は、訓練済みの顔マスク付きオートエンコーダを用いて、顔と顔の両方から顔の特徴を抽出する。
論文 参考訳（メタデータ） (2022-12-06T07:23:39Z) - FaceFormer: Scale-aware Blind Face Restoration with Transformers [18.514630131883536]
そこで我々は,顔の特徴回復をスケール・アウェア・トランスフォーメーションとして定式化する,FaceFormerという新しい顔修復フレームワークを提案する。
提案手法は, 合成データセットを用いて, 現在の最先端画像よりも, 自然な低品質画像を一般化する。
論文 参考訳（メタデータ） (2022-07-20T10:08:34Z) - Learning Disentangled Representation for One-shot Progressive Face
Swapping [65.98684203654908]
ジェネレーティブ・アドバーサリアル・ネットワークに基づくワンショット・フェイススワップのためのシンプルで効率的なFaceSwapperを提案する。
提案手法は,不整合表現モジュールと意味誘導融合モジュールから構成される。
その結果,本手法は,トレーニングサンプルの少ないベンチマークで最先端の結果が得られることがわかった。
論文 参考訳（メタデータ） (2022-03-24T11:19:04Z) - Face Deblurring Based on Separable Normalization and Adaptive
Denormalization [25.506065804812522]
Face Deblurringは、より明示的な構造と顔の詳細で、ぼやけた入力画像から透明な顔イメージを復元することを目的としている。
我々は、分離可能な正規化と適応的な非正規化に基づく効果的な顔分解ネットワークを設計する。
CelebAとCelebA-HQの両方のデータセットの実験結果から、提案した顔劣化ネットワークは、より詳細な顔構造を復元することが示された。
論文 参考訳（メタデータ） (2021-12-18T03:42:23Z) - Pro-UIGAN: Progressive Face Hallucination from Occluded Thumbnails [53.080403912727604]
Inpainting Generative Adversarial Network, Pro-UIGANを提案する。
顔の形状を利用して、隠された小さな顔の補充とアップサンプリング(8*)を行う。
Pro-UIGANは、HR面を視覚的に満足させ、下流タスクにおいて優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2021-08-02T02:29:24Z) - HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。
本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
論文 参考訳（メタデータ） (2021-06-18T07:39:09Z) - FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping [43.236261887752065]
本研究では,顔交換のための2段階フレームワークであるFaceShifterを提案する。
最初の段階では、ターゲット属性を徹底的かつ適応的に利用して、スワップされた顔を高忠実に生成する。
難解な顔合成に対処するために、HEAR-Net(Huristic Err Accnowledging Refinement Network)と呼ばれる新しいヒューリスティック・エラー認識ネットワーク(Heuristic Err Acknowledging Refinement Network)の第2ステージを付加する。
論文 参考訳（メタデータ） (2019-12-31T17:57:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。