論文の概要: Learning Disentangled Representation for One-shot Progressive Face Swapping

• arxiv url: http://arxiv.org/abs/2203.12985v1
• Date: Thu, 24 Mar 2022 11:19:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-25 14:33:50.319062
• Title: Learning Disentangled Representation for One-shot Progressive Face Swapping
• Title（参考訳）: ワンショットプログレッシブフェイススワッピングにおける不連続表現の学習
• Authors: Qi Li, Weining Wang, Chengzhong Xu, Zhenan Sun
• Abstract要約: ジェネレーティブ・アドバーサリアル・ネットワークに基づくワンショット・フェイススワップのためのシンプルで効率的なFaceSwapperを提案する。 提案手法は,不整合表現モジュールと意味誘導融合モジュールから構成される。 その結果,本手法は,トレーニングサンプルの少ないベンチマークで最先端の結果が得られることがわかった。
• 参考スコア（独自算出の注目度）: 65.98684203654908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although face swapping has attracted much attention in recent years, it remains a challenging problem. The existing methods leverage a large number of data samples to explore the intrinsic properties of face swapping without taking into account the semantic information of face images. Moreover, the representation of the identity information tends to be fixed, leading to suboptimal face swapping. In this paper, we present a simple yet efficient method named FaceSwapper, for one-shot face swapping based on Generative Adversarial Networks. Our method consists of a disentangled representation module and a semantic-guided fusion module. The disentangled representation module is composed of an attribute encoder and an identity encoder, which aims to achieve the disentanglement of the identity and the attribute information. The identity encoder is more flexible and the attribute encoder contains more details of the attributes than its competitors. Benefiting from the disentangled representation, FaceSwapper can swap face images progressively. In addition, semantic information is introduced into the semantic-guided fusion module to control the swapped area and model the pose and expression more accurately. The experimental results show that our method achieves state-of-the-art results on benchmark datasets with fewer training samples. Our code is publicly available at https://github.com/liqi-casia/FaceSwapper.
• Abstract（参考訳）: 近年、顔交換が注目されているが、依然として難しい問題である。 既存の手法では, 顔画像の意味情報を考慮せずに, 顔スワッピングの固有特性を探索するために, 多数のデータサンプルを利用する。 さらに、識別情報の表現は固定されがちであり、最適な顔交換につながる。 本稿では,ジェネレーティブ・アドバイサル・ネットワークに基づくワンショット顔交換のための,FaceSwapperというシンプルで効率的な方法を提案する。 提案手法は,不整合表現モジュールと意味誘導融合モジュールからなる。 disentangled representationモジュールは、属性エンコーダとidエンコーダで構成されており、idと属性情報の異方性を達成することを目的としている。 アイデンティティエンコーダはより柔軟で、属性エンコーダは競合相手よりも属性の詳細を含んでいる。 FaceSwapperは、歪んだ表現から恩恵を受け、徐々に顔画像を取り替えることができる。 また、セマンティクス誘導型融合モジュールにセマンティクス情報を導入し、スワップ領域を制御し、より正確にポーズや表情をモデル化する。 実験の結果,本手法はトレーニングサンプルの少ないベンチマークデータセットにおいて最先端の結果を得ることができた。 私たちのコードはhttps://github.com/liqi-casia/FaceSwapper.comで公開されています。

関連論文リスト

• Infinite-ID: Identity-preserved Personalization via ID-semantics Decoupling Paradigm [31.06269858216316]
  アイデンティティ保存型パーソナライゼーションのためのID-セマンティックデカップリングパラダイムであるInfinite-IDを提案する。 我々は、十分なID情報を取得するために、追加のイメージクロスアテンションモジュールを組み込んだアイデンティティ強化トレーニングを導入する。 また、2つのストリームをシームレスにマージするために、混合アテンションモジュールとAdaIN平均演算を組み合わせた機能相互作用機構を導入する。
  論文  参考訳（メタデータ） (2024-03-18T13:39:53Z)
• Personalized Face Inpainting with Diffusion Models by Parallel Visual Attention [55.33017432880408]
  本稿では,パラレル視覚注意(PVA, Parallel Visual Attention, PVA)と拡散モデルとの併用による塗装結果の改善を提案する。 我々はCelebAHQ-IDIで注目モジュールとIDエンコーダをトレーニングする。 実験により, PVAは顔の塗り絵と顔の塗り絵の両面において, 言語指導タスクと相容れない同一性を持つことが示された。
  論文  参考訳（メタデータ） (2023-12-06T15:39:03Z)
• When StyleGAN Meets Stable Diffusion: a $\mathscr{W}_+$ Adapter for Personalized Image Generation [60.305112612629465]
  テキストと画像の拡散モデルは、多種多様で高品質でフォトリアリスティックな画像を生成するのに優れている。 本稿では,拡散モデルのための拡張されたアイデンティティ保存とアンタングル化を実現するために,StyleGAN 埋め込み空間 $mathcalW_+$ の新たな利用法を提案する。 提案手法は,即時記述に適合するだけでなく,一般的なスタイルGAN編集方向に対応可能なパーソナライズされたテキスト・ツー・イメージ出力を生成する。
  論文  参考訳（メタデータ） (2023-11-29T09:05:14Z)
• BlendFace: Re-designing Identity Encoders for Face-Swapping [2.320417845168326]
  BlendFaceはフェイススワッピングのための新しいアイデンティティエンコーダである。 アイデンティティ機能をジェネレータに切り離し、ID損失関数としてジェネレータを適切に誘導する。 大規模な実験により、BlendFaceはフェイススワッピングモデルにおけるID-属性のゆがみを改善することが示されている。
  論文  参考訳（メタデータ） (2023-07-20T13:17:30Z)
• FaceDancer: Pose- and Occlusion-Aware High Fidelity Face Swapping [62.38898610210771]
  そこで我々は,FaceDancerという顔のスワップとID転送のための新しい単一ステージ手法を提案する。 アダプティブ・フィーチャー・フュージョン・アテンション(AFFA)と解釈的特徴類似性規則化(IFSR)の2つの主要なコントリビューションがある。
  論文  参考訳（メタデータ） (2022-10-19T11:31:38Z)
• ShapeEditer: a StyleGAN Encoder for Face Swapping [6.848723869850855]
  本研究では,高解像度,リアル,高忠実な顔交換のための新しいエンコーダであるShapeEditorを提案する。 私たちのキーとなるアイデアは、事前訓練された高品質のランダムな顔画像生成装置、すなわちStyleGANをバックボーンとして使用することです。 そこで我々は,StyleGANの潜在空間への写像を学習するために,自己教師付き損失関数の集合を提案する。
  論文  参考訳（メタデータ） (2021-06-26T09:38:45Z)
• FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
  単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。 本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。 本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
  論文  参考訳（メタデータ） (2021-02-23T02:47:28Z)
• Fine-grained Image-to-Image Transformation towards Visual Recognition [102.51124181873101]
  我々は,入力画像の同一性を保った画像を生成するために,微細なカテゴリで画像を変換することを目的としている。 我々は、画像のアイデンティティと非関連要因をアンハングルするために、生成的敵ネットワークに基づくモデルを採用する。 CompCarsとMulti-PIEデータセットの実験では、我々のモデルが生成した画像のアイデンティティを、最先端の画像-画像変換モデルよりもはるかによく保存していることが示された。
  論文  参考訳（メタデータ） (2020-01-12T05:26:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。