論文の概要: End-to-end Face-swapping via Adaptive Latent Representation Learning
- arxiv url: http://arxiv.org/abs/2303.04186v1
- Date: Tue, 7 Mar 2023 19:16:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-09 16:13:11.894451
- Title: End-to-end Face-swapping via Adaptive Latent Representation Learning
- Title（参考訳）: Adaptive Latent Representation Learningによるエンドツーエンドの顔スワッピング
- Authors: Chenhao Lin, Pengbin Hu, Chao Shen, Qian Li
- Abstract要約: 本稿では,高精細・高精細・高精細・高精細・高精細な顔交換のための新しいエンドツーエンド統合フレームワークを提案する。
顔の知覚とブレンドをエンドツーエンドのトレーニングとテストのプロセスに統合することで、野生の顔に高いリアルな顔スワッピングを実現することができる。
- 参考スコア（独自算出の注目度）: 12.364688530047786
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Taking full advantage of the excellent performance of StyleGAN, style
transfer-based face swapping methods have been extensively investigated
recently. However, these studies require separate face segmentation and
blending modules for successful face swapping, and the fixed selection of the
manipulated latent code in these works is reckless, thus degrading face
swapping quality, generalizability, and practicability. This paper proposes a
novel and end-to-end integrated framework for high resolution and attribute
preservation face swapping via Adaptive Latent Representation Learning.
Specifically, we first design a multi-task dual-space face encoder by sharing
the underlying feature extraction network to simultaneously complete the facial
region perception and face encoding. This encoder enables us to control the
face pose and attribute individually, thus enhancing the face swapping quality.
Next, we propose an adaptive latent codes swapping module to adaptively learn
the mapping between the facial attributes and the latent codes and select
effective latent codes for improved retention of facial attributes. Finally,
the initial face swapping image generated by StyleGAN2 is blended with the
facial region mask generated by our encoder to address the background blur
problem. Our framework integrating facial perceiving and blending into the
end-to-end training and testing process can achieve high realistic
face-swapping on wild faces without segmentation masks. Experimental results
demonstrate the superior performance of our approach over state-of-the-art
methods.
- Abstract（参考訳）: 近年,スタイルGANの優れた性能をフル活用して,スタイル転送に基づくフェイススワップ手法が広く研究されている。
しかし、これらの研究は、顔スワップを成功させるために異なる顔セグメンテーションとブレンディングモジュールを必要としており、これらの研究で操作された潜在コードの固定選択は無謀である。
本稿では,Adaptive Latent Representation Learningによる高分解能・属性保存顔交換のための新しいエンドツーエンド統合フレームワークを提案する。
具体的には、基礎となる特徴抽出ネットワークを共有し、顔領域の知覚と顔のエンコーディングを同時に完了させることにより、まずマルチタスクのデュアルスペース顔エンコーダを設計する。
このエンコーダにより、顔ポーズと属性を個別に制御することができ、顔交換品質が向上する。
次に,顔属性と潜時符号のマッピングを適応的に学習する適応型潜時符号スワップモジュールを提案し,顔属性の保持を改善するために有効な潜時符号を選択する。
最後に、StyleGAN2が生成した初期顔交換画像とエンコーダが生成した顔領域マスクとを混合して背景ぼけ問題に対処する。
エンド・ツー・エンドのトレーニングとテストプロセスに顔認識とブレンドを統合するフレームワークは,セグメンテーションマスクを使わずに,野生の顔を高度にリアルにスワッピングできる。
実験により,本手法の最先端手法よりも優れた性能を示した。
関連論文リスト
- A Generalist FaceX via Learning Unified Facial Representation [77.74407008931486]
FaceXは、多様な顔タスクを同時に処理できる新しい顔ジェネラリストモデルである。
汎用的なFaceXは、一般的な顔編集タスクの精巧なタスク特化モデルと比較して、競争性能が向上する。
論文 参考訳（メタデータ） (2023-12-31T17:41:48Z) - High-Fidelity Face Swapping with Style Blending [16.024260677867076]
高忠実な顔交換のための革新的なエンドツーエンドフレームワークを提案する。
まず、スタイルGANベースの顔属性エンコーダを導入し、顔から重要な特徴を抽出し、潜在スタイルコードに変換する。
第二に、ターゲットからターゲットへFace IDを効果的に転送するアテンションベースのスタイルブレンディングモジュールを導入する。
論文 参考訳（メタデータ） (2023-12-17T23:22:37Z) - FlowFace++: Explicit Semantic Flow-supervised End-to-End Face Swapping [28.714484307143927]
FlowFace++は、明示的なセマンティックフローの監視とエンドツーエンドアーキテクチャを利用する、新しいフェイススワッピングフレームワークである。
識別器は形状を意識しており、ターゲット面とソース面との間の形状の相違を明示的に計算する意味フロー誘導操作に依存している。
論文 参考訳（メタデータ） (2023-06-22T06:18:29Z) - StyleGANEX: StyleGAN-Based Manipulation Beyond Cropped Aligned Faces [103.54337984566877]
拡張畳み込みを用いて、モデルパラメータを変更することなく、StyleGANの浅い層の受容場を再スケールする。
これにより、浅い層における固定サイズの小さなフィーチャを、可変解像度に対応できるより大きなものへと拡張することができる。
本手法は,多様な顔操作タスクにおいて,様々な解像度の顔入力を用いて検証する。
論文 参考訳（メタデータ） (2023-03-10T18:59:33Z) - IA-FaceS: A Bidirectional Method for Semantic Face Editing [8.19063619210761]
本稿では,顔属性の非交叉操作とフレキシブルかつ制御可能なコンポーネント編集のための双方向手法を提案する。
IA-FaceSは、セグメンテーションマスクやスケッチのような入力視覚的なガイダンスなしで初めて開発された。
定量的および定性的な結果から,提案手法は再構成,顔属性操作,コンポーネント転送において,他の手法よりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2022-03-24T14:44:56Z) - FSGANv2: Improved Subject Agnostic Face Swapping and Reenactment [28.83743270895698]
顔交換と再現のためにFSGAN(Face Swapping GAN)を提案する。
従来とは違って,顔のトレーニングを必要とせず,顔のペアに適用可能な被験者交換方式を提案する。
顔の表情や表情の変化を調整し、単一の画像やビデオシーケンスに適用できる、新しい反復的深層学習に基づく顔の再現手法を導出する。
映像系列に対しては,再現性,デラウネー三角測量,バリ座標に基づく連続的な顔ビューの認識を導入し,顔領域をフェースコンプリートネットワークで処理する。
論文 参考訳（メタデータ） (2022-02-25T21:04:39Z) - Pro-UIGAN: Progressive Face Hallucination from Occluded Thumbnails [53.080403912727604]
Inpainting Generative Adversarial Network, Pro-UIGANを提案する。
顔の形状を利用して、隠された小さな顔の補充とアップサンプリング(8*)を行う。
Pro-UIGANは、HR面を視覚的に満足させ、下流タスクにおいて優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2021-08-02T02:29:24Z) - HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。
本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
論文 参考訳（メタデータ） (2021-06-18T07:39:09Z) - FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。
本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。
本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
論文 参考訳（メタデータ） (2021-02-23T02:47:28Z) - Dual-Attention GAN for Large-Pose Face Frontalization [59.689836951934694]
本稿では,フォトリアリスティック顔フロンダル化のためのDA-GAN(Dual-Attention Generative Adversarial Network)を提案する。
具体的には、ローカル機能と長距離依存関係を統合するために、自己アテンションベースのジェネレータが導入された。
顔領域の局所的特徴を強調するために,新しい顔認識に基づく識別器を適用した。
論文 参考訳（メタデータ） (2020-02-17T20:00:56Z) - FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping [43.236261887752065]
本研究では,顔交換のための2段階フレームワークであるFaceShifterを提案する。
最初の段階では、ターゲット属性を徹底的かつ適応的に利用して、スワップされた顔を高忠実に生成する。
難解な顔合成に対処するために、HEAR-Net(Huristic Err Accnowledging Refinement Network)と呼ばれる新しいヒューリスティック・エラー認識ネットワーク(Heuristic Err Acknowledging Refinement Network)の第2ステージを付加する。
論文 参考訳（メタデータ） (2019-12-31T17:57:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。