論文の概要: FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping
- arxiv url: http://arxiv.org/abs/1912.13457v3
- Date: Tue, 15 Sep 2020 07:43:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-16 20:50:03.380645
- Title: FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping
- Title(参考訳): FaceShifter: 顔のスワッピングを意識し、高忠実度を目指す
- Authors: Lingzhi Li, Jianmin Bao, Hao Yang, Dong Chen, Fang Wen
- Abstract要約: 本研究では,顔交換のための2段階フレームワークであるFaceShifterを提案する。
最初の段階では、ターゲット属性を徹底的かつ適応的に利用して、スワップされた顔を高忠実に生成する。
難解な顔合成に対処するために、HEAR-Net(Huristic Err Accnowledging Refinement Network)と呼ばれる新しいヒューリスティック・エラー認識ネットワーク(Heuristic Err Acknowledging Refinement Network)の第2ステージを付加する。
- 参考スコア(独自算出の注目度): 43.236261887752065
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we propose a novel two-stage framework, called FaceShifter, for
high fidelity and occlusion aware face swapping. Unlike many existing face
swapping works that leverage only limited information from the target image
when synthesizing the swapped face, our framework, in its first stage,
generates the swapped face in high-fidelity by exploiting and integrating the
target attributes thoroughly and adaptively. We propose a novel attributes
encoder for extracting multi-level target face attributes, and a new generator
with carefully designed Adaptive Attentional Denormalization (AAD) layers to
adaptively integrate the identity and the attributes for face synthesis. To
address the challenging facial occlusions, we append a second stage consisting
of a novel Heuristic Error Acknowledging Refinement Network (HEAR-Net). It is
trained to recover anomaly regions in a self-supervised way without any manual
annotations. Extensive experiments on wild faces demonstrate that our face
swapping results are not only considerably more perceptually appealing, but
also better identity preserving in comparison to other state-of-the-art
methods.
- Abstract(参考訳): 本研究では,顔の忠実度と隠蔽性を考慮した顔交換のための新しい2段階フレームワークFaceShifterを提案する。
置換面を合成する際に対象画像からの限られた情報のみを利用する既存の顔交換作業とは異なり、我々のフレームワークは、ターゲット属性を徹底的かつ適応的に利用し、その交換面を高忠実に生成する。
本稿では,多レベル顔属性を抽出するための新しい属性エンコーダと,適応的意図的非正規化(Adaptive Attentional Denormalization, AAD)層を慎重に設計した新しいジェネレータを提案する。
難解な顔面咬合に対処するために,新しいヒューリスティックエラー認識改善ネットワーク(hear-net)からなる第2段階を付加する。
手動のアノテーションを使わずに、自己管理的な方法で異常領域の回復を訓練する。
野生の顔に対する大規模な実験は、私たちの顔交換の結果が、知覚的に魅力的であるだけでなく、他の最先端の方法と比較して優れたアイデンティティ保存であることを示している。
関連論文リスト
- High-Fidelity Face Swapping with Style Blending [16.024260677867076]
高忠実な顔交換のための革新的なエンドツーエンドフレームワークを提案する。
まず、スタイルGANベースの顔属性エンコーダを導入し、顔から重要な特徴を抽出し、潜在スタイルコードに変換する。
第二に、ターゲットからターゲットへFace IDを効果的に転送するアテンションベースのスタイルブレンディングモジュールを導入する。
論文 参考訳(メタデータ) (2023-12-17T23:22:37Z) - BlendFace: Re-designing Identity Encoders for Face-Swapping [2.320417845168326]
BlendFaceはフェイススワッピングのための新しいアイデンティティエンコーダである。
アイデンティティ機能をジェネレータに切り離し、ID損失関数としてジェネレータを適切に誘導する。
大規模な実験により、BlendFaceはフェイススワッピングモデルにおけるID-属性のゆがみを改善することが示されている。
論文 参考訳(メタデータ) (2023-07-20T13:17:30Z) - End-to-end Face-swapping via Adaptive Latent Representation Learning [12.364688530047786]
本稿では,高精細・高精細・高精細・高精細・高精細な顔交換のための新しいエンドツーエンド統合フレームワークを提案する。
顔の知覚とブレンドをエンドツーエンドのトレーニングとテストのプロセスに統合することで、野生の顔に高いリアルな顔スワッピングを実現することができる。
論文 参考訳(メタデータ) (2023-03-07T19:16:20Z) - FaceDancer: Pose- and Occlusion-Aware High Fidelity Face Swapping [62.38898610210771]
そこで我々は,FaceDancerという顔のスワップとID転送のための新しい単一ステージ手法を提案する。
アダプティブ・フィーチャー・フュージョン・アテンション(AFFA)と解釈的特徴類似性規則化(IFSR)の2つの主要なコントリビューションがある。
論文 参考訳(メタデータ) (2022-10-19T11:31:38Z) - Unconstrained Face Sketch Synthesis via Perception-Adaptive Network and
A New Benchmark [16.126100433405398]
顔領域と顔成分を正確に知覚することは、制約のないスケッチ合成に不可欠である、と我々は主張する。
本研究では,制約のない条件下で高品質な顔スケッチを生成できる新しい知覚適応ネットワーク(PANet)を提案する。
WildSketchと呼ばれる新しいベンチマークは、800対の顔写真スケッチを含み、ポーズ、表現、民族的起源、背景、照明に大きなバリエーションがある。
論文 参考訳(メタデータ) (2021-12-02T07:08:31Z) - Pro-UIGAN: Progressive Face Hallucination from Occluded Thumbnails [53.080403912727604]
Inpainting Generative Adversarial Network, Pro-UIGANを提案する。
顔の形状を利用して、隠された小さな顔の補充とアップサンプリング(8*)を行う。
Pro-UIGANは、HR面を視覚的に満足させ、下流タスクにおいて優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2021-08-02T02:29:24Z) - SimSwap: An Efficient Framework For High Fidelity Face Swapping [43.59969679039686]
我々は,汎用的で忠実な顔交換を目的とした,Simple Swap (SimSwap) と呼ばれる効率的なフレームワークを提案する。
本フレームワークでは,対象顔の属性を保存しながら,任意の元顔の同一性を任意の対象顔に転送することができる。
我々のSimSwapは、従来の最先端手法よりも優れた属性を保ちながら、競争力のあるアイデンティティ性能を達成することができることを示した。
論文 参考訳(メタデータ) (2021-06-11T12:23:10Z) - FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。
本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。
本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
論文 参考訳(メタデータ) (2021-02-23T02:47:28Z) - Face Hallucination via Split-Attention in Split-Attention Network [58.30436379218425]
畳み込みニューラルネットワーク(CNN)は、顔幻覚を促進するために広く用いられている。
顔の全体像とテクスチャの細部を同時に考慮し,新たな内部分割注意グループ(ESAG)を提案する。
これら2つの経路から特徴を融合させることにより、顔の構造の整合性と顔の詳細の忠実度が強化される。
論文 参考訳(メタデータ) (2020-10-22T10:09:31Z) - Dual-Attention GAN for Large-Pose Face Frontalization [59.689836951934694]
本稿では,フォトリアリスティック顔フロンダル化のためのDA-GAN(Dual-Attention Generative Adversarial Network)を提案する。
具体的には、ローカル機能と長距離依存関係を統合するために、自己アテンションベースのジェネレータが導入された。
顔領域の局所的特徴を強調するために,新しい顔認識に基づく識別器を適用した。
論文 参考訳(メタデータ) (2020-02-17T20:00:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。