論文の概要: StyleSwap: Style-Based Generator Empowers Robust Face Swapping

• arxiv url: http://arxiv.org/abs/2209.13514v1
• Date: Tue, 27 Sep 2022 16:35:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 16:27:32.797771
• Title: StyleSwap: Style-Based Generator Empowers Robust Face Swapping
• Title（参考訳）: StyleSwap: スタイルベースのジェネレータはロバストな顔スワップ
• Authors: Zhiliang Xu, Hang Zhou, Zhibin Hong, Ziwei Liu, Jiaming Liu, Zhizhi Guo, Junyu Han, Jingtuo Liu, Errui Ding, Jingdong Wang
• Abstract要約: StyleSwapという簡潔で効果的なフレームワークを紹介します。 私たちの中核となる考え方は、スタイルベースのジェネレータを活用して、高忠実で堅牢な顔交換を可能にすることです。 最小限の変更だけで、StyleGAN2アーキテクチャはソースとターゲットの両方から望まれる情報をうまく処理できる。
• 参考スコア（独自算出の注目度）: 90.05775519962303
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Numerous attempts have been made to the task of person-agnostic face swapping given its wide applications. While existing methods mostly rely on tedious network and loss designs, they still struggle in the information balancing between the source and target faces, and tend to produce visible artifacts. In this work, we introduce a concise and effective framework named StyleSwap. Our core idea is to leverage a style-based generator to empower high-fidelity and robust face swapping, thus the generator's advantage can be adopted for optimizing identity similarity. We identify that with only minimal modifications, a StyleGAN2 architecture can successfully handle the desired information from both source and target. Additionally, inspired by the ToRGB layers, a Swapping-Driven Mask Branch is further devised to improve information blending. Furthermore, the advantage of StyleGAN inversion can be adopted. Particularly, a Swapping-Guided ID Inversion strategy is proposed to optimize identity similarity. Extensive experiments validate that our framework generates high-quality face swapping results that outperform state-of-the-art methods both qualitatively and quantitatively.
• Abstract（参考訳）: 広範囲の応用を考えると、顔の入れ替わりの課題に対して多くの試みがなされている。 既存の手法は主に退屈なネットワーク設計と損失設計に依存しているが、ソースとターゲットの顔間の情報バランスに問題があり、目に見えるアーティファクトを生成する傾向がある。 本稿では,StyleSwapという簡潔で効果的なフレームワークを紹介する。 私たちの核となるアイデアは、スタイルベースのジェネレータを活用して、高忠実度で堅牢な顔スワップを可能にすることで、ジェネレータの利点をアイデンティティの類似性を最適化するために採用することです。 最小限の変更だけで、stylegan2アーキテクチャがソースとターゲットの両方から必要な情報をうまく処理できることを私たちは認識します。 さらに、ToRGBレイヤにインスパイアされたSwapping-Driven Maskブランチは、情報ブレンディングを改善するためにさらに開発されている。 さらに、StyleGANの逆変換の利点も活用できる。 特にSwapping-Guided IDインバージョン戦略はアイデンティティの類似性を最適化するために提案されている。 広範な実験によって、我々のフレームワークが質的にも定量的にも最先端の手法を上回る高品質な顔スワップ結果を生成することが検証された。

関連論文リスト

• High-Fidelity Face Swapping with Style Blending [16.024260677867076]
  高忠実な顔交換のための革新的なエンドツーエンドフレームワークを提案する。 まず、スタイルGANベースの顔属性エンコーダを導入し、顔から重要な特徴を抽出し、潜在スタイルコードに変換する。 第二に、ターゲットからターゲットへFace IDを効果的に転送するアテンションベースのスタイルブレンディングモジュールを導入する。
  論文  参考訳（メタデータ） (2023-12-17T23:22:37Z)
• Face Transformer: Towards High Fidelity and Accurate Face Swapping [54.737909435708936]
  Face swappingは、ソース顔の同一性とターゲット顔の属性を融合させるスワップ画像を生成することを目的としている。 本稿では,顔の同一性と対象属性を同時に正確に保存できる新しい顔交換ネットワークであるFace Transformerを提案する。
  論文  参考訳（メタデータ） (2023-04-05T15:51:44Z)
• End-to-end Face-swapping via Adaptive Latent Representation Learning [12.364688530047786]
  本稿では,高精細・高精細・高精細・高精細・高精細な顔交換のための新しいエンドツーエンド統合フレームワークを提案する。 顔の知覚とブレンドをエンドツーエンドのトレーニングとテストのプロセスに統合することで、野生の顔に高いリアルな顔スワッピングを実現することができる。
  論文  参考訳（メタデータ） (2023-03-07T19:16:20Z)
• High-resolution Face Swapping via Latent Semantics Disentanglement [50.23624681222619]
  本稿では,事前学習したGANモデルの事前知識を用いた,新しい高分解能幻覚顔交換法を提案する。 我々は、ジェネレータの進行的な性質を利用して、潜在意味論を明示的に解き放つ。 我々は,2時間制約を潜時空間と画像空間に課すことにより,映像面スワップに拡張する。
  論文  参考訳（メタデータ） (2022-03-30T00:33:08Z)
• Learning Disentangled Representation for One-shot Progressive Face Swapping [65.98684203654908]
  ジェネレーティブ・アドバーサリアル・ネットワークに基づくワンショット・フェイススワップのためのシンプルで効率的なFaceSwapperを提案する。 提案手法は,不整合表現モジュールと意味誘導融合モジュールから構成される。 その結果,本手法は,トレーニングサンプルの少ないベンチマークで最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-24T11:19:04Z)
• Styleverse: Towards Identity Stylization across Heterogeneous Domains [70.13327076710269]
  異種ドメイン間のIDS(IDentity Stylization)という課題を提案する。 有効な異種ネットワークベースのフレームワークである$Styleverse$を使用し、単一のドメイン認識ジェネレータを使用します。 $Styleverseは、他の最先端の方法と比較して、より忠実なアイデンティティスタイリングを実現する。
  論文  参考訳（メタデータ） (2022-03-02T04:23:01Z)
• Smooth-Swap: A Simple Enhancement for Face-Swapping with Smoothness [18.555874044296463]
  我々はSmooth-Swapと呼ばれる新しいフェイススワッピングモデルを提案する。 複雑な手作りデザインを使わずに、アイデンティティの埋め込みの滑らかさを導出することに焦点を当てている。 我々のモデルは量的にも質的にも、アイデンティティの変化の観点からも既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-12-11T03:26:32Z)
• SimSwap: An Efficient Framework For High Fidelity Face Swapping [43.59969679039686]
  我々は,汎用的で忠実な顔交換を目的とした,Simple Swap (SimSwap) と呼ばれる効率的なフレームワークを提案する。 本フレームワークでは,対象顔の属性を保存しながら,任意の元顔の同一性を任意の対象顔に転送することができる。 我々のSimSwapは、従来の最先端手法よりも優れた属性を保ちながら、競争力のあるアイデンティティ性能を達成することができることを示した。
  論文  参考訳（メタデータ） (2021-06-11T12:23:10Z)
• FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
  単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。 本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。 本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
  論文  参考訳（メタデータ） (2021-02-23T02:47:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。