論文の概要: High-Fidelity Face Swapping with Style Blending

• arxiv url: http://arxiv.org/abs/2312.10843v1
• Date: Sun, 17 Dec 2023 23:22:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 14:08:05.611972
• Title: High-Fidelity Face Swapping with Style Blending
• Title（参考訳）: スタイルブレンディングによる高忠実顔スワッピング
• Authors: Xinyu Yang, Hongbo Bo
• Abstract要約: 高忠実な顔交換のための革新的なエンドツーエンドフレームワークを提案する。 まず、スタイルGANベースの顔属性エンコーダを導入し、顔から重要な特徴を抽出し、潜在スタイルコードに変換する。 第二に、ターゲットからターゲットへFace IDを効果的に転送するアテンションベースのスタイルブレンディングモジュールを導入する。
• 参考スコア（独自算出の注目度）: 16.024260677867076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Face swapping has gained significant traction, driven by the plethora of human face synthesis facilitated by deep learning methods. However, previous face swapping methods that used generative adversarial networks (GANs) as backbones have faced challenges such as inconsistency in blending, distortions, artifacts, and issues with training stability. To address these limitations, we propose an innovative end-to-end framework for high-fidelity face swapping. First, we introduce a StyleGAN-based facial attributes encoder that extracts essential features from faces and inverts them into a latent style code, encapsulating indispensable facial attributes for successful face swapping. Second, we introduce an attention-based style blending module to effectively transfer Face IDs from source to target. To ensure accurate and quality transferring, a series of constraint measures including contrastive face ID learning, facial landmark alignment, and dual swap consistency is implemented. Finally, the blended style code is translated back to the image space via the style decoder, which is of high training stability and generative capability. Extensive experiments on the CelebA-HQ dataset highlight the superior visual quality of generated images from our face-swapping methodology when compared to other state-of-the-art methods, and the effectiveness of each proposed module. Source code and weights will be publicly available.
• Abstract（参考訳）: 顔のスワップは、深層学習によって促進される人間の顔合成の多さによって、大きな牽引力を得ている。 しかし,GANをバックボーンとして用いた以前の顔交換法は,ブレンディングの不整合,歪み,アーチファクト,トレーニング安定性の問題といった問題に直面している。 これらの制約に対処するため,我々は高忠実度顔スワップのための革新的なエンドツーエンドフレームワークを提案する。 まず, 顔から本質的な特徴を抽出し, 潜在型コードに変換するstyleganベースの顔属性エンコーダを導入し, 不要な顔属性をカプセル化し, 顔スワップを成功させる。 第2に,face idをソースからターゲットへ効果的に転送するための注意に基づくスタイルブレンディングモジュールを提案する。 精度と品質の伝達を確保するため、対照的なface id学習、顔のランドマークアライメント、デュアルスワップ一貫性を含む一連の制約措置を実施する。 最後に、ブレンドされたスタイルコードは、高いトレーニング安定性と生成能力を有するスタイルデコーダを介して画像空間に変換される。 CelebA-HQデータセットの大規模な実験では、他の最先端手法と比較して、フェーススワッピング手法から生成された画像の優れた視覚的品質と、提案した各モジュールの有効性を強調している。 ソースコードと重み付けは公開される予定だ。

関連論文リスト

• OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
  拡散モデルは、顔の修復において顕著な性能を示した。 顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。 その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-26T07:07:48Z)
• Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models [69.50286698375386]
  フェース・スワッピングのための拡散モデルを改善する新しい手法を提案する。 インペイントトレーニング中にマスクシャッフル技術を導入し、スワップのためのいわゆるユニバーサルモデルを作成することができる。 私たちのアプローチは比較的統一されたアプローチなので、他のオフザシェルフモデルのエラーに対して耐性があります。
  論文  参考訳（メタデータ） (2024-09-11T13:43:53Z)
• G2Face: High-Fidelity Reversible Face Anonymization via Generative and Geometric Priors [71.69161292330504]
  可逆顔匿名化(Reversible face anonymization)は、顔画像の繊細なアイデンティティ情報を、合成された代替品に置き換えようとしている。 本稿では,Gtextsuperscript2Faceを提案する。 提案手法は,高データの有効性を保ちながら,顔の匿名化と回復において既存の最先端技術よりも優れる。
  論文  参考訳（メタデータ） (2024-08-18T12:36:47Z)
• BlendFace: Re-designing Identity Encoders for Face-Swapping [2.320417845168326]
  BlendFaceはフェイススワッピングのための新しいアイデンティティエンコーダである。 アイデンティティ機能をジェネレータに切り離し、ID損失関数としてジェネレータを適切に誘導する。 大規模な実験により、BlendFaceはフェイススワッピングモデルにおけるID-属性のゆがみを改善することが示されている。
  論文  参考訳（メタデータ） (2023-07-20T13:17:30Z)
• Face Transformer: Towards High Fidelity and Accurate Face Swapping [54.737909435708936]
  Face swappingは、ソース顔の同一性とターゲット顔の属性を融合させるスワップ画像を生成することを目的としている。 本稿では,顔の同一性と対象属性を同時に正確に保存できる新しい顔交換ネットワークであるFace Transformerを提案する。
  論文  参考訳（メタデータ） (2023-04-05T15:51:44Z)
• End-to-end Face-swapping via Adaptive Latent Representation Learning [12.364688530047786]
  本稿では,高精細・高精細・高精細・高精細・高精細な顔交換のための新しいエンドツーエンド統合フレームワークを提案する。 顔の知覚とブレンドをエンドツーエンドのトレーニングとテストのプロセスに統合することで、野生の顔に高いリアルな顔スワッピングを実現することができる。
  論文  参考訳（メタデータ） (2023-03-07T19:16:20Z)
• StyleSwap: Style-Based Generator Empowers Robust Face Swapping [90.05775519962303]
  StyleSwapという簡潔で効果的なフレームワークを紹介します。 私たちの中核となる考え方は、スタイルベースのジェネレータを活用して、高忠実で堅牢な顔交換を可能にすることです。 最小限の変更だけで、StyleGAN2アーキテクチャはソースとターゲットの両方から望まれる情報をうまく処理できる。
  論文  参考訳（メタデータ） (2022-09-27T16:35:16Z)
• One Shot Face Swapping on Megapixels [65.47443090320955]
  本稿では,顔面スワッピング(略してMegaFS)における最初のメガピクセルレベル法を提案する。 本手法の成功に対する3つの新しい貢献は,顔の完全な表現,安定したトレーニング,限られたメモリ使用量である。
  論文  参考訳（メタデータ） (2021-05-11T10:41:47Z)
• FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping [43.236261887752065]
  本研究では,顔交換のための2段階フレームワークであるFaceShifterを提案する。 最初の段階では、ターゲット属性を徹底的かつ適応的に利用して、スワップされた顔を高忠実に生成する。 難解な顔合成に対処するために、HEAR-Net(Huristic Err Accnowledging Refinement Network)と呼ばれる新しいヒューリスティック・エラー認識ネットワーク(Heuristic Err Acknowledging Refinement Network)の第2ステージを付加する。
  論文  参考訳（メタデータ） (2019-12-31T17:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。