論文の概要: Reinforced Disentanglement for Face Swapping without Skip Connection

• arxiv url: http://arxiv.org/abs/2307.07928v4
• Date: Thu, 3 Aug 2023 06:05:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-04 16:38:10.495457
• Title: Reinforced Disentanglement for Face Swapping without Skip Connection
• Title（参考訳）: スキップ接続を伴わない顔スワップ用強化アンタングル
• Authors: Xiaohang Ren, Xingyu Chen, Pengfei Yao, Heung-Yeung Shum, Baoyuan Wang
• Abstract要約: 我々は、スキップ接続を取り除き、2つのターゲットエンコーダを使用する「WSCスワップ」と呼ばれる新しいフェイススワップフレームワークを導入する。 我々の結果は、アイデンティティの整合性を測定するための新しい指標を含む、リッチなメトリクスセットに関する以前の研究よりも大幅に優れています。
• 参考スコア（独自算出の注目度）: 18.97633893837313
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The SOTA face swap models still suffer the problem of either target identity (i.e., shape) being leaked or the target non-identity attributes (i.e., background, hair) failing to be fully preserved in the final results. We show that this insufficient disentanglement is caused by two flawed designs that were commonly adopted in prior models: (1) counting on only one compressed encoder to represent both the semantic-level non-identity facial attributes(i.e., pose) and the pixel-level non-facial region details, which is contradictory to satisfy at the same time; (2) highly relying on long skip-connections between the encoder and the final generator, leaking a certain amount of target face identity into the result. To fix them, we introduce a new face swap framework called 'WSC-swap' that gets rid of skip connections and uses two target encoders to respectively capture the pixel-level non-facial region attributes and the semantic non-identity attributes in the face region. To further reinforce the disentanglement learning for the target encoder, we employ both identity removal loss via adversarial training (i.e., GAN) and the non-identity preservation loss via prior 3DMM models like [11]. Extensive experiments on both FaceForensics++ and CelebA-HQ show that our results significantly outperform previous works on a rich set of metrics, including one novel metric for measuring identity consistency that was completely neglected before.
• Abstract（参考訳）: SOTAのフェイススワップモデルでは、ターゲットのアイデンティティ(形状)がリークされたり、ターゲットの非アイデンティティ属性(背景、毛髪)が最終結果に完全に保存されないという問題がまだ残っている。 We show that this insufficient disentanglement is caused by two flawed designs that were commonly adopted in prior models: (1) counting on only one compressed encoder to represent both the semantic-level non-identity facial attributes(i.e., pose) and the pixel-level non-facial region details, which is contradictory to satisfy at the same time; (2) highly relying on long skip-connections between the encoder and the final generator, leaking a certain amount of target face identity into the result. そこで我々は,2つのターゲットエンコーダを用いて,顔領域の画素レベルの非顔領域属性と意味的非顔領域属性をそれぞれキャプチャする「WSCスワップ」という新しい顔スワップフレームワークを提案する。 対象エンコーダの絡み合い学習をさらに強化するために,逆訓練(gan)によるid消去損失と,[11]のような先行3dmmモデルによる非id化保存損失の両方を用いる。 faceforensics++ と celeba-hq の両方の広範な実験により、我々の結果は、以前完全に無視されたアイデンティティ一貫性を測定するための新しいメトリックを含む、リッチなメトリクスセットの以前の成果を大きく上回っていることが分かりました。

関連論文リスト

• ID$^3$: Identity-Preserving-yet-Diversified Diffusion Models for Synthetic Face Recognition [60.15830516741776]
  合成顔認識(SFR)は、実際の顔データの分布を模倣するデータセットを生成することを目的としている。 拡散燃料SFRモデルであるtextID3$を紹介します。 textID3$はID保存損失を利用して、多様だがアイデンティティに一貫性のある顔の外観を生成する。
  論文  参考訳（メタデータ） (2024-09-26T06:46:40Z)
• G2Face: High-Fidelity Reversible Face Anonymization via Generative and Geometric Priors [71.69161292330504]
  可逆顔匿名化(Reversible face anonymization)は、顔画像の繊細なアイデンティティ情報を、合成された代替品に置き換えようとしている。 本稿では,Gtextsuperscript2Faceを提案する。 提案手法は,高データの有効性を保ちながら,顔の匿名化と回復において既存の最先端技術よりも優れる。
  論文  参考訳（メタデータ） (2024-08-18T12:36:47Z)
• 3D Face Modeling via Weakly-supervised Disentanglement Network joint Identity-consistency Prior [62.80458034704989]
  切り離された制御因子を特徴とする3次元顔モデルの生成は、コンピュータビジョンやコンピュータグラフィックスの多様な応用において大きな可能性を秘めている。 従来の3D顔モデリング手法は、これらの要因を効果的に解消するために特定のラベルを要求するため、課題に直面している。 本稿では,WSDF(Wakly Supervised Disentanglement Framework)を導入し,過度に拘束的なラベル付けを必要とせず,制御可能な3次元顔モデルのトレーニングを容易にする。
  論文  参考訳（メタデータ） (2024-04-25T11:50:47Z)
• CLR-Face: Conditional Latent Refinement for Blind Face Restoration Using Score-Based Diffusion Models [57.9771859175664]
  最近の生成優先法は、有望なブラインドフェイス修復性能を示している。 入力に忠実なきめ細かい顔の詳細を生成することは、依然として難しい問題である。 本稿では,VQGANアーキテクチャの内部に拡散型プライマーを導入し,非破壊な潜伏埋め込みにおける分布の学習に重点を置いている。
  論文  参考訳（メタデータ） (2024-02-08T23:51:49Z)
• Attribute-preserving Face Dataset Anonymization via Latent Code Optimization [64.4569739006591]
  本稿では,事前学習したGANの潜時空間における画像の潜時表現を直接最適化するタスク非依存匿名化手法を提案する。 我々は一連の実験を通して、我々の手法が画像の同一性を匿名化できる一方で、顔の属性をより保存できることを実証した。
  論文  参考訳（メタデータ） (2023-03-20T17:34:05Z)
• Semantic-aware One-shot Face Re-enactment with Dense Correspondence Estimation [100.60938767993088]
  ワンショットの顔の再現は、ソースと駆動する顔の同一性ミスマッチのため、難しい作業である。 本稿では,3次元形態素モデル(3DMM)を明示的な顔のセマンティックな分解とアイデンティティの絡み合いに利用することを提案する。
  論文  参考訳（メタデータ） (2022-11-23T03:02:34Z)
• SimSwap: An Efficient Framework For High Fidelity Face Swapping [43.59969679039686]
  我々は,汎用的で忠実な顔交換を目的とした,Simple Swap (SimSwap) と呼ばれる効率的なフレームワークを提案する。 本フレームワークでは,対象顔の属性を保存しながら,任意の元顔の同一性を任意の対象顔に転送することができる。 我々のSimSwapは、従来の最先端手法よりも優れた属性を保ちながら、競争力のあるアイデンティティ性能を達成することができることを示した。
  論文  参考訳（メタデータ） (2021-06-11T12:23:10Z)
• FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping [43.236261887752065]
  本研究では,顔交換のための2段階フレームワークであるFaceShifterを提案する。 最初の段階では、ターゲット属性を徹底的かつ適応的に利用して、スワップされた顔を高忠実に生成する。 難解な顔合成に対処するために、HEAR-Net(Huristic Err Accnowledging Refinement Network)と呼ばれる新しいヒューリスティック・エラー認識ネットワーク(Heuristic Err Acknowledging Refinement Network)の第2ステージを付加する。
  論文  参考訳（メタデータ） (2019-12-31T17:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。