論文の概要: RobustSwap: A Simple yet Robust Face Swapping Model against Attribute Leakage

• arxiv url: http://arxiv.org/abs/2303.15768v1
• Date: Tue, 28 Mar 2023 07:03:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 16:13:47.318659
• Title: RobustSwap: A Simple yet Robust Face Swapping Model against Attribute Leakage
• Title（参考訳）: RobustSwap: 属性漏洩に対するシンプルだがロバストな顔スワッピングモデル
• Authors: Jaeseong Lee, Taewoo Kim, Sunghyun Park, Younggun Lee, Jaegul Choo
• Abstract要約: Face swappingは、ターゲットの属性を保持しながら、ソースイメージのIDをターゲットイメージに注入することを目的としている。 以前のアプローチでは、ソースイメージの属性がターゲットイメージに干渉するソース属性のリークに悩まされていた。 我々は、潜在的ソース属性の漏洩に耐性のある、シンプルで頑健な顔交換モデルRobustSwapを開発した。
• 参考スコア（独自算出の注目度）: 33.434239920630525
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Face swapping aims at injecting a source image's identity (i.e., facial features) into a target image, while strictly preserving the target's attributes, which are irrelevant to identity. However, we observed that previous approaches still suffer from source attribute leakage, where the source image's attributes interfere with the target image's. In this paper, we analyze the latent space of StyleGAN and find the adequate combination of the latents geared for face swapping task. Based on the findings, we develop a simple yet robust face swapping model, RobustSwap, which is resistant to the potential source attribute leakage. Moreover, we exploit the coordination of 3DMM's implicit and explicit information as a guidance to incorporate the structure of the source image and the precise pose of the target image. Despite our method solely utilizing an image dataset without identity labels for training, our model has the capability to generate high-fidelity and temporally consistent videos. Through extensive qualitative and quantitative evaluations, we demonstrate that our method shows significant improvements compared with the previous face swapping models in synthesizing both images and videos. Project page is available at https://robustswap.github.io/
• Abstract（参考訳）: フェイススワッピングは、ターゲットイメージにソースイメージのアイデンティティ(すなわち顔の特徴)を注入することを目的としているが、アイデンティティとは無関係なターゲットの属性を厳密に保持する。 しかし,これまでのアプローチでは,対象画像の属性に干渉するソース属性のリークが問題視されていた。 本稿では,スタイルガンの潜在空間を分析し,フェイススワッピングタスク用に用意された潜在空間の適切な組み合わせを求める。 本研究は,ロバスト・スワップ (RobustSwap) の簡易な顔交換モデルを構築し, 情報源属性の漏洩に対する耐性を示す。 さらに,3dmmの暗黙的および明示的な情報の協調を,音源画像の構造と対象画像の正確なポーズを組み込むためのガイダンスとして活用する。 本手法は,識別ラベルのない画像データセットのみをトレーニングに利用するが,高忠実度で時間的一貫性のある映像を生成できる。 本研究では,画像とビデオの合成において,従来の顔交換モデルと比較して,定性的,定量的な評価を行った。 プロジェクトページはhttps://robustswap.github.io/にある。

関連論文リスト

• Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models [69.50286698375386]
  フェース・スワッピングのための拡散モデルを改善する新しい手法を提案する。 インペイントトレーニング中にマスクシャッフル技術を導入し、スワップのためのいわゆるユニバーサルモデルを作成することができる。 私たちのアプローチは比較的統一されたアプローチなので、他のオフザシェルフモデルのエラーに対して耐性があります。
  論文  参考訳（メタデータ） (2024-09-11T13:43:53Z)
• High-Fidelity Face Swapping with Style Blending [16.024260677867076]
  高忠実な顔交換のための革新的なエンドツーエンドフレームワークを提案する。 まず、スタイルGANベースの顔属性エンコーダを導入し、顔から重要な特徴を抽出し、潜在スタイルコードに変換する。 第二に、ターゲットからターゲットへFace IDを効果的に転送するアテンションベースのスタイルブレンディングモジュールを導入する。
  論文  参考訳（メタデータ） (2023-12-17T23:22:37Z)
• When StyleGAN Meets Stable Diffusion: a $\mathscr{W}_+$ Adapter for Personalized Image Generation [60.305112612629465]
  テキストと画像の拡散モデルは、多種多様で高品質でフォトリアリスティックな画像を生成するのに優れている。 本稿では,拡散モデルのための拡張されたアイデンティティ保存とアンタングル化を実現するために,StyleGAN 埋め込み空間 $mathcalW_+$ の新たな利用法を提案する。 提案手法は,即時記述に適合するだけでなく,一般的なスタイルGAN編集方向に対応可能なパーソナライズされたテキスト・ツー・イメージ出力を生成する。
  論文  参考訳（メタデータ） (2023-11-29T09:05:14Z)
• ReliableSwap: Boosting General Face Swapping Via Reliable Supervision [9.725105108879717]
  本稿では,訓練中に対象とソースの同一性が異なる場合のイメージレベルのガイダンスとして機能する,サイクルトリプレットと呼ばれる信頼性の高い監視機能を構築することを提案する。 具体的には,顔の再現とブレンディング技術を用いて,前もって実際の画像からスワップされた顔の合成を行う。 フェーススワッピングフレームワークであるReliableSwapは、既存のフェースワップネットワークの性能を無視できるオーバーヘッドで向上させることができる。
  論文  参考訳（メタデータ） (2023-06-08T17:01:14Z)
• Face Transformer: Towards High Fidelity and Accurate Face Swapping [54.737909435708936]
  Face swappingは、ソース顔の同一性とターゲット顔の属性を融合させるスワップ画像を生成することを目的としている。 本稿では,顔の同一性と対象属性を同時に正確に保存できる新しい顔交換ネットワークであるFace Transformerを提案する。
  論文  参考訳（メタデータ） (2023-04-05T15:51:44Z)
• Attribute-preserving Face Dataset Anonymization via Latent Code Optimization [64.4569739006591]
  本稿では,事前学習したGANの潜時空間における画像の潜時表現を直接最適化するタスク非依存匿名化手法を提案する。 我々は一連の実験を通して、我々の手法が画像の同一性を匿名化できる一方で、顔の属性をより保存できることを実証した。
  論文  参考訳（メタデータ） (2023-03-20T17:34:05Z)
• StyleMask: Disentangling the Style Space of StyleGAN2 for Neural Face Reenactment [47.27033282706179]
  本研究では,顔の特徴をそのポーズから切り離すフレームワークを提案する。 提案手法は, 極端なポーズ変動であっても, 高品質な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-09-27T13:22:35Z)
• Learning Disentangled Representation for One-shot Progressive Face Swapping [65.98684203654908]
  ジェネレーティブ・アドバーサリアル・ネットワークに基づくワンショット・フェイススワップのためのシンプルで効率的なFaceSwapperを提案する。 提案手法は,不整合表現モジュールと意味誘導融合モジュールから構成される。 その結果,本手法は,トレーニングサンプルの少ないベンチマークで最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-24T11:19:04Z)
• Graph-based Generative Face Anonymisation with Pose Preservation [49.18049578591058]
  AnonyGANは、顔の匿名化のためのGANベースのソリューションである。 ソースアイデンティティに対応する視覚情報を、任意の単一のイメージとして提供される条件IDに置き換える。
  論文  参考訳（メタデータ） (2021-12-10T12:58:17Z)
• FacialGAN: Style Transfer and Attribute Manipulation on Synthetic Faces [9.664892091493586]
  FacialGANは、リッチなスタイル転送と対話的な顔属性操作を可能にする新しいフレームワークである。 モデルが視覚的に説得力のある結果を生み出す能力は,スタイル伝達,属性操作,多様性,顔認証などである。
  論文  参考訳（メタデータ） (2021-10-18T15:53:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。