論文の概要: High-Fidelity Face Swapping with Style Blending
- arxiv url: http://arxiv.org/abs/2312.10843v1
- Date: Sun, 17 Dec 2023 23:22:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 14:08:05.611972
- Title: High-Fidelity Face Swapping with Style Blending
- Title(参考訳): スタイルブレンディングによる高忠実顔スワッピング
- Authors: Xinyu Yang, Hongbo Bo
- Abstract要約: 高忠実な顔交換のための革新的なエンドツーエンドフレームワークを提案する。
まず、スタイルGANベースの顔属性エンコーダを導入し、顔から重要な特徴を抽出し、潜在スタイルコードに変換する。
第二に、ターゲットからターゲットへFace IDを効果的に転送するアテンションベースのスタイルブレンディングモジュールを導入する。
- 参考スコア(独自算出の注目度): 16.024260677867076
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Face swapping has gained significant traction, driven by the plethora of
human face synthesis facilitated by deep learning methods. However, previous
face swapping methods that used generative adversarial networks (GANs) as
backbones have faced challenges such as inconsistency in blending, distortions,
artifacts, and issues with training stability. To address these limitations, we
propose an innovative end-to-end framework for high-fidelity face swapping.
First, we introduce a StyleGAN-based facial attributes encoder that extracts
essential features from faces and inverts them into a latent style code,
encapsulating indispensable facial attributes for successful face swapping.
Second, we introduce an attention-based style blending module to effectively
transfer Face IDs from source to target. To ensure accurate and quality
transferring, a series of constraint measures including contrastive face ID
learning, facial landmark alignment, and dual swap consistency is implemented.
Finally, the blended style code is translated back to the image space via the
style decoder, which is of high training stability and generative capability.
Extensive experiments on the CelebA-HQ dataset highlight the superior visual
quality of generated images from our face-swapping methodology when compared to
other state-of-the-art methods, and the effectiveness of each proposed module.
Source code and weights will be publicly available.
- Abstract(参考訳): 顔のスワップは、深層学習によって促進される人間の顔合成の多さによって、大きな牽引力を得ている。
しかし,GANをバックボーンとして用いた以前の顔交換法は,ブレンディングの不整合,歪み,アーチファクト,トレーニング安定性の問題といった問題に直面している。
これらの制約に対処するため,我々は高忠実度顔スワップのための革新的なエンドツーエンドフレームワークを提案する。
まず, 顔から本質的な特徴を抽出し, 潜在型コードに変換するstyleganベースの顔属性エンコーダを導入し, 不要な顔属性をカプセル化し, 顔スワップを成功させる。
第2に,face idをソースからターゲットへ効果的に転送するための注意に基づくスタイルブレンディングモジュールを提案する。
精度と品質の伝達を確保するため、対照的なface id学習、顔のランドマークアライメント、デュアルスワップ一貫性を含む一連の制約措置を実施する。
最後に、ブレンドされたスタイルコードは、高いトレーニング安定性と生成能力を有するスタイルデコーダを介して画像空間に変換される。
CelebA-HQデータセットの大規模な実験では、他の最先端手法と比較して、フェーススワッピング手法から生成された画像の優れた視覚的品質と、提案した各モジュールの有効性を強調している。
ソースコードと重み付けは公開される予定だ。
関連論文リスト
- BlendFace: Re-designing Identity Encoders for Face-Swapping [2.320417845168326]
BlendFaceはフェイススワッピングのための新しいアイデンティティエンコーダである。
アイデンティティ機能をジェネレータに切り離し、ID損失関数としてジェネレータを適切に誘導する。
大規模な実験により、BlendFaceはフェイススワッピングモデルにおけるID-属性のゆがみを改善することが示されている。
論文 参考訳(メタデータ) (2023-07-20T13:17:30Z) - Face-PAST: Facial Pose Awareness and Style Transfer Networks [11.046019517265337]
高品質なスタイリング画像を生成しながら、顔の詳細や構造を保存できる顔ポーズ認識とスタイル転送(Face-PAST)ネットワークを提案する。
学習過程はカリキュラムの学習戦略に適応し、生成空間における効率的で柔軟なスタイルの混合を行う。
論文 参考訳(メタデータ) (2023-07-18T07:20:31Z) - Face Transformer: Towards High Fidelity and Accurate Face Swapping [54.737909435708936]
Face swappingは、ソース顔の同一性とターゲット顔の属性を融合させるスワップ画像を生成することを目的としている。
本稿では,顔の同一性と対象属性を同時に正確に保存できる新しい顔交換ネットワークであるFace Transformerを提案する。
論文 参考訳(メタデータ) (2023-04-05T15:51:44Z) - End-to-end Face-swapping via Adaptive Latent Representation Learning [12.364688530047786]
本稿では,高精細・高精細・高精細・高精細・高精細な顔交換のための新しいエンドツーエンド統合フレームワークを提案する。
顔の知覚とブレンドをエンドツーエンドのトレーニングとテストのプロセスに統合することで、野生の顔に高いリアルな顔スワッピングを実現することができる。
論文 参考訳(メタデータ) (2023-03-07T19:16:20Z) - MorphGANFormer: Transformer-based Face Morphing and De-Morphing [55.211984079735196]
顔変形に対するスタイルGANベースのアプローチが主要な技術である。
本稿では,顔の変形に対する変換器ベースの代替手段を提案し,その利点をStyleGANベースの方法と比較した。
論文 参考訳(メタデータ) (2023-02-18T19:09:11Z) - StyleSwap: Style-Based Generator Empowers Robust Face Swapping [90.05775519962303]
StyleSwapという簡潔で効果的なフレームワークを紹介します。
私たちの中核となる考え方は、スタイルベースのジェネレータを活用して、高忠実で堅牢な顔交換を可能にすることです。
最小限の変更だけで、StyleGAN2アーキテクチャはソースとターゲットの両方から望まれる情報をうまく処理できる。
論文 参考訳(メタデータ) (2022-09-27T16:35:16Z) - HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。
本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
論文 参考訳(メタデータ) (2021-06-18T07:39:09Z) - One Shot Face Swapping on Megapixels [65.47443090320955]
本稿では,顔面スワッピング(略してMegaFS)における最初のメガピクセルレベル法を提案する。
本手法の成功に対する3つの新しい貢献は,顔の完全な表現,安定したトレーニング,限られたメモリ使用量である。
論文 参考訳(メタデータ) (2021-05-11T10:41:47Z) - FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。
本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。
本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
論文 参考訳(メタデータ) (2021-02-23T02:47:28Z) - FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping [43.236261887752065]
本研究では,顔交換のための2段階フレームワークであるFaceShifterを提案する。
最初の段階では、ターゲット属性を徹底的かつ適応的に利用して、スワップされた顔を高忠実に生成する。
難解な顔合成に対処するために、HEAR-Net(Huristic Err Accnowledging Refinement Network)と呼ばれる新しいヒューリスティック・エラー認識ネットワーク(Heuristic Err Acknowledging Refinement Network)の第2ステージを付加する。
論文 参考訳(メタデータ) (2019-12-31T17:57:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。