論文の概要: Learning Disentangled Representation for One-shot Progressive Face Swapping

• arxiv url: http://arxiv.org/abs/2203.12985v2
• Date: Wed, 27 Nov 2024 01:51:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:23:46.435344
• Title: Learning Disentangled Representation for One-shot Progressive Face Swapping
• Title（参考訳）: ワンショットプログレッシブ・フェイススワッピングのためのアンタングル表現の学習
• Authors: Qi Li, Weining Wang, Chengzhong Xu, Zhenan Sun, Ming-Hsuan Yang,
• Abstract要約: ジェネレーティブ・アドバーサリアル・ネットワークに基づくワンショット・フェイススワップのためのシンプルで効率的なFaceSwapperを提案する。 提案手法は,不整合表現モジュールと意味誘導融合モジュールから構成される。 本手法は,トレーニングサンプルの少ないベンチマークデータセットに対して,最先端の結果を得る。
• 参考スコア（独自算出の注目度）: 92.09538942684539
• License:
• Abstract: Although face swapping has attracted much attention in recent years, it remains a challenging problem. Existing methods leverage a large number of data samples to explore the intrinsic properties of face swapping without considering the semantic information of face images. Moreover, the representation of the identity information tends to be fixed, leading to suboptimal face swapping. In this paper, we present a simple yet efficient method named FaceSwapper, for one-shot face swapping based on Generative Adversarial Networks. Our method consists of a disentangled representation module and a semantic-guided fusion module. The disentangled representation module comprises an attribute encoder and an identity encoder, which aims to achieve the disentanglement of the identity and attribute information. The identity encoder is more flexible, and the attribute encoder contains more attribute details than its competitors. Benefiting from the disentangled representation, FaceSwapper can swap face images progressively. In addition, semantic information is introduced into the semantic-guided fusion module to control the swapped region and model the pose and expression more accurately. Experimental results show that our method achieves state-of-the-art results on benchmark datasets with fewer training samples. Our code is publicly available at https://github.com/liqi-casia/FaceSwapper.
• Abstract（参考訳）: 近年、顔交換が注目されているが、依然として難しい問題である。 既存の方法は、顔画像の意味情報を考慮せずに、多数のデータサンプルを活用して、顔スワップの本質的な特性を探索する。 さらに、識別情報の表現は固定されがちであり、最適な顔交換につながる。 本稿では,ジェネレーティブ・アダクティブ・アダクティブ・ネットワークに基づくワンショット・フェイス・スワップのための,FaceSwapperというシンプルで効率的な方法を提案する。 提案手法は,不整合表現モジュールと意味誘導融合モジュールから構成される。 アンタングル表現モジュールは、属性エンコーダと、IDと属性情報のアンタングル化を実現するIDエンコーダとを備える。 アイデンティティエンコーダはより柔軟で、属性エンコーダは競合他社よりも属性の詳細を含んでいる。 FaceSwapperは、歪んだ表現から恩恵を受け、徐々に顔画像を取り替えることができる。 さらに、セマンティック・ガイド・フュージョン・モジュールに意味情報を導入し、スワップされた領域を制御し、ポーズと表現をより正確にモデル化する。 実験結果から,本手法はトレーニングサンプルが少ないベンチマークデータセットに対して,最先端の結果が得られることがわかった。 私たちのコードはhttps://github.com/liqi-casia/FaceSwapper.comで公開されています。

関連論文リスト

• OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
  拡散モデルは、顔の修復において顕著な性能を示した。 顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。 その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-26T07:07:48Z)
• When StyleGAN Meets Stable Diffusion: a $\mathscr{W}_+$ Adapter for Personalized Image Generation [60.305112612629465]
  テキストと画像の拡散モデルは、多種多様で高品質でフォトリアリスティックな画像を生成するのに優れている。 本稿では,拡散モデルのための拡張されたアイデンティティ保存とアンタングル化を実現するために,StyleGAN 埋め込み空間 $mathcalW_+$ の新たな利用法を提案する。 提案手法は,即時記述に適合するだけでなく,一般的なスタイルGAN編集方向に対応可能なパーソナライズされたテキスト・ツー・イメージ出力を生成する。
  論文  参考訳（メタデータ） (2023-11-29T09:05:14Z)
• BlendFace: Re-designing Identity Encoders for Face-Swapping [2.320417845168326]
  BlendFaceはフェイススワッピングのための新しいアイデンティティエンコーダである。 アイデンティティ機能をジェネレータに切り離し、ID損失関数としてジェネレータを適切に誘導する。 大規模な実験により、BlendFaceはフェイススワッピングモデルにおけるID-属性のゆがみを改善することが示されている。
  論文  参考訳（メタデータ） (2023-07-20T13:17:30Z)
• FaceDancer: Pose- and Occlusion-Aware High Fidelity Face Swapping [62.38898610210771]
  そこで我々は,FaceDancerという顔のスワップとID転送のための新しい単一ステージ手法を提案する。 アダプティブ・フィーチャー・フュージョン・アテンション(AFFA)と解釈的特徴類似性規則化(IFSR)の2つの主要なコントリビューションがある。
  論文  参考訳（メタデータ） (2022-10-19T11:31:38Z)
• ShapeEditer: a StyleGAN Encoder for Face Swapping [6.848723869850855]
  本研究では,高解像度,リアル,高忠実な顔交換のための新しいエンコーダであるShapeEditorを提案する。 私たちのキーとなるアイデアは、事前訓練された高品質のランダムな顔画像生成装置、すなわちStyleGANをバックボーンとして使用することです。 そこで我々は,StyleGANの潜在空間への写像を学習するために,自己教師付き損失関数の集合を提案する。
  論文  参考訳（メタデータ） (2021-06-26T09:38:45Z)
• FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
  単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。 本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。 本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
  論文  参考訳（メタデータ） (2021-02-23T02:47:28Z)
• S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation [11.724779328025589]
  本稿では,S2FGANと呼ばれるスケッチ・ツー・イメージ生成フレームワークを提案する。 我々は2つの潜在空間を用いて顔の外観を制御し、生成した顔の所望の属性を調整する。 提案手法は,属性強度の制御性を高めることで,属性操作における最先端の手法よりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2020-11-30T13:42:39Z)
• Fine-grained Image-to-Image Transformation towards Visual Recognition [102.51124181873101]
  我々は,入力画像の同一性を保った画像を生成するために,微細なカテゴリで画像を変換することを目的としている。 我々は、画像のアイデンティティと非関連要因をアンハングルするために、生成的敵ネットワークに基づくモデルを採用する。 CompCarsとMulti-PIEデータセットの実験では、我々のモデルが生成した画像のアイデンティティを、最先端の画像-画像変換モデルよりもはるかによく保存していることが示された。
  論文  参考訳（メタデータ） (2020-01-12T05:26:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。