論文の概要: ShapeEditer: a StyleGAN Encoder for Face Swapping

• arxiv url: http://arxiv.org/abs/2106.13984v1
• Date: Sat, 26 Jun 2021 09:38:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-29 14:03:52.720541
• Title: ShapeEditer: a StyleGAN Encoder for Face Swapping
• Title（参考訳）: ShapeEditer:Face Swapping用のStyleGANエンコーダ
• Authors: Shuai Yang, Kai Qiao
• Abstract要約: 本研究では,高解像度,リアル,高忠実な顔交換のための新しいエンコーダであるShapeEditorを提案する。 私たちのキーとなるアイデアは、事前訓練された高品質のランダムな顔画像生成装置、すなわちStyleGANをバックボーンとして使用することです。 そこで我々は,StyleGANの潜在空間への写像を学習するために,自己教師付き損失関数の集合を提案する。
• 参考スコア（独自算出の注目度）: 6.848723869850855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel encoder, called ShapeEditor, for high-resolution, realistic and high-fidelity face exchange. First of all, in order to ensure sufficient clarity and authenticity, our key idea is to use an advanced pretrained high-quality random face image generator, i.e. StyleGAN, as backbone. Secondly, we design ShapeEditor, a two-step encoder, to make the swapped face integrate the identity and attribute of the input faces. In the first step, we extract the identity vector of the source image and the attribute vector of the target image respectively; in the second step, we map the concatenation of identity vector and attribute vector into the $\mathcal{W+}$ potential space. In addition, for learning to map into the latent space of StyleGAN, we propose a set of self-supervised loss functions with which the training data do not need to be labeled manually. Extensive experiments on the test dataset show that the results of our method not only have a great advantage in clarity and authenticity than other state-of-the-art methods, but also reflect the sufficient integration of identity and attribute.
• Abstract（参考訳）: 本稿では,高解像度,リアル,高忠実な顔交換のための新しいエンコーダであるShapeEditorを提案する。 第一に、十分な明瞭さと信頼性を確保するために、我々のキーとなるアイデアは、事前訓練された高品質のランダムな顔画像生成装置を使用することである。 StyleGAN、バックボーンとして。 次に、2段階のエンコーダであるShapeEditorを設計し、スワップされた顔に入力された顔のアイデンティティと属性を統合する。 第1ステップでは、ソース画像の同一性ベクトルと対象画像の属性ベクトルをそれぞれ抽出し、第2ステップでは、同一性ベクトルと属性ベクトルの連結性を$\mathcal{W+}$ポテンシャル空間にマッピングする。 また、スタイルガンの潜在空間にマップする学習のために、トレーニングデータを手動でラベル付けする必要のない自己教師付き損失関数の集合を提案する。 テストデータセットの大規模な実験により,本手法の結果は,他の最先端手法よりも明瞭さと信頼性に優れるだけでなく,アイデンティティと属性の十分な統合を反映していることがわかった。

関連論文リスト

• G2Face: High-Fidelity Reversible Face Anonymization via Generative and Geometric Priors [71.69161292330504]
  可逆顔匿名化(Reversible face anonymization)は、顔画像の繊細なアイデンティティ情報を、合成された代替品に置き換えようとしている。 本稿では,Gtextsuperscript2Faceを提案する。 提案手法は,高データの有効性を保ちながら,顔の匿名化と回復において既存の最先端技術よりも優れる。
  論文  参考訳（メタデータ） (2024-08-18T12:36:47Z)
• StableIdentity: Inserting Anybody into Anywhere at First Sight [57.99693188913382]
  一つの顔画像で同一性に一貫性のある再テクスチャ化を可能にするStableIdentityを提案する。 私たちは、1つの画像から学んだアイデンティティを直接、微調整なしでビデオ/3D生成に注入する最初の人です。
  論文  参考訳（メタデータ） (2024-01-29T09:06:15Z)
• Disentangled Representation Learning for Controllable Person Image Generation [29.719070087384512]
  本稿ではDRL-CPGという新しいフレームワークを提案する。 我々の知る限り、私たちは人物画像生成のためのトランスフォーマーによる非絡み合いの潜在表現を初めて学習する。
  論文  参考訳（メタデータ） (2023-12-10T07:15:58Z)
• Attribute-preserving Face Dataset Anonymization via Latent Code Optimization [64.4569739006591]
  本稿では,事前学習したGANの潜時空間における画像の潜時表現を直接最適化するタスク非依存匿名化手法を提案する。 我々は一連の実験を通して、我々の手法が画像の同一性を匿名化できる一方で、顔の属性をより保存できることを実証した。
  論文  参考訳（メタデータ） (2023-03-20T17:34:05Z)
• FaceDancer: Pose- and Occlusion-Aware High Fidelity Face Swapping [62.38898610210771]
  そこで我々は,FaceDancerという顔のスワップとID転送のための新しい単一ステージ手法を提案する。 アダプティブ・フィーチャー・フュージョン・アテンション(AFFA)と解釈的特徴類似性規則化(IFSR)の2つの主要なコントリビューションがある。
  論文  参考訳（メタデータ） (2022-10-19T11:31:38Z)
• Dynamic Prototype Mask for Occluded Person Re-Identification [88.7782299372656]
  既存の手法では、目に見える部分を識別するために、余分なネットワークによって提供される身体の手がかりを利用することで、この問題に対処している。 2つの自己明快な事前知識に基づく新しい動的プロトタイプマスク(DPM)を提案する。 この条件下では、隠蔽された表現は、選択された部分空間において自然にうまく整列することができる。
  論文  参考訳（メタデータ） (2022-07-19T03:31:13Z)
• Learning Disentangled Representation for One-shot Progressive Face Swapping [65.98684203654908]
  ジェネレーティブ・アドバーサリアル・ネットワークに基づくワンショット・フェイススワップのためのシンプルで効率的なFaceSwapperを提案する。 提案手法は,不整合表現モジュールと意味誘導融合モジュールから構成される。 その結果,本手法は,トレーニングサンプルの少ないベンチマークで最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-24T11:19:04Z)
• Identity-Guided Face Generation with Multi-modal Contour Conditions [15.84849740726513]
  本稿では、輪郭と、入力として同一性を指定する余分な画像を取得するフレームワークを提案する。 アイデンティティエンコーダは、主エンコーダを伴ってアイデンティティ関連特徴を抽出し、粗い輪郭情報を得る。 提案手法は1024$times$1024の解像度で写真リアルな結果が得られる。
  論文  参考訳（メタデータ） (2021-10-10T17:08:22Z)
• An Efficient Integration of Disentangled Attended Expression and Identity FeaturesFor Facial Expression Transfer andSynthesis [6.383596973102899]
  本稿では,AIP-GAN(Attention-based Identity Preserving Generative Adversarial Network)を提案する。 私たちのキーとなる洞察は、アイデンティティ保存ネットワークは、効率的な表情の転送と合成のために、形状、外観、表現情報を分離して構成できるべきであるということです。
  論文  参考訳（メタデータ） (2020-05-01T17:14:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。