論文の概要: Smooth-Swap: A Simple Enhancement for Face-Swapping with Smoothness

• arxiv url: http://arxiv.org/abs/2112.05907v1
• Date: Sat, 11 Dec 2021 03:26:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-14 15:24:15.340378
• Title: Smooth-Swap: A Simple Enhancement for Face-Swapping with Smoothness
• Title（参考訳）: スムーズスワップ:スムーズなフェイススワッピングの簡易化
• Authors: Jiseob Kim, Jihoon Lee, Byoung-Tak Zhang
• Abstract要約: 我々はSmooth-Swapと呼ばれる新しいフェイススワッピングモデルを提案する。 複雑な手作りデザインを使わずに、アイデンティティの埋め込みの滑らかさを導出することに焦点を当てている。 我々のモデルは量的にも質的にも、アイデンティティの変化の観点からも既存の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 18.555874044296463
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, face-swapping models have progressed in generation quality and drawn attention for their applications in privacy protection and entertainment. However, their complex architectures and loss functions often require careful tuning for successful training. In this paper, we propose a new face-swapping model called `Smooth-Swap', which focuses on deriving the smoothness of the identity embedding instead of employing complex handcrafted designs. We postulate that the gist of the difficulty in face-swapping is unstable gradients and it can be resolved by a smooth identity embedder. Smooth-swap adopts an embedder trained using supervised contrastive learning, where we find its improved smoothness allows faster and stable training even with a simple U-Net-based generator and three basic loss functions. Extensive experiments on face-swapping benchmarks (FFHQ, FaceForensics++) and face images in the wild show that our model is also quantitatively and qualitatively comparable or even superior to existing methods in terms of identity change.
• Abstract（参考訳）: 近年,フェース・スワッピング・モデルは世代別品質が向上し,プライバシ保護やエンターテイメントへの応用に注目が集まっている。 しかし、複雑なアーキテクチャと損失関数は、しばしばトレーニングを成功させるために注意深いチューニングを必要とする。 本稿では,複雑な手作りデザインを使わずに,アイデンティティ埋め込みの滑らかさを導出することに焦点を当てた,「スムースススワップ」と呼ばれる新しいフェイススワッピングモデルを提案する。 顔のスワッピングの難しさの要点は不安定な勾配であり、滑らかなアイデンティティ埋め込みによって解決できると仮定する。 Smooth-swapは、教師付きコントラスト学習を用いて訓練された組込み機を採用し、改良されたスムーズさにより、単純なU-Netベースのジェネレータと3つの基本損失関数でさえ、より高速で安定したトレーニングが可能になる。 フェイススワッピングベンチマーク(ffhq、faceforensics++)と顔画像に関する広範囲な実験は、我々のモデルは、アイデンティティ変更の観点から、既存の方法と定量的に、質的にも、あるいは、より優れていることを示している。

関連論文リスト

• Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models [69.50286698375386]
  フェース・スワッピングのための拡散モデルを改善する新しい手法を提案する。 インペイントトレーニング中にマスクシャッフル技術を導入し、スワップのためのいわゆるユニバーサルモデルを作成することができる。 私たちのアプローチは比較的統一されたアプローチなので、他のオフザシェルフモデルのエラーに対して耐性があります。
  論文  参考訳（メタデータ） (2024-09-11T13:43:53Z)
• High-Fidelity Face Swapping with Style Blending [16.024260677867076]
  高忠実な顔交換のための革新的なエンドツーエンドフレームワークを提案する。 まず、スタイルGANベースの顔属性エンコーダを導入し、顔から重要な特徴を抽出し、潜在スタイルコードに変換する。 第二に、ターゲットからターゲットへFace IDを効果的に転送するアテンションベースのスタイルブレンディングモジュールを導入する。
  論文  参考訳（メタデータ） (2023-12-17T23:22:37Z)
• Effective Adapter for Face Recognition in the Wild [72.75516495170199]
  私たちは、画像が低品質で現実世界の歪みに悩まされる、野生の顔認識の課題に取り組みます。 従来のアプローチでは、劣化した画像や、顔の復元技術を使って強化された画像を直接訓練するが、効果がないことが証明された。 高品質な顔データセットで訓練された既存の顔認識モデルを強化するための効果的なアダプタを提案する。
  論文  参考訳（メタデータ） (2023-12-04T08:55:46Z)
• Face Transformer: Towards High Fidelity and Accurate Face Swapping [54.737909435708936]
  Face swappingは、ソース顔の同一性とターゲット顔の属性を融合させるスワップ画像を生成することを目的としている。 本稿では,顔の同一性と対象属性を同時に正確に保存できる新しい顔交換ネットワークであるFace Transformerを提案する。
  論文  参考訳（メタデータ） (2023-04-05T15:51:44Z)
• End-to-end Face-swapping via Adaptive Latent Representation Learning [12.364688530047786]
  本稿では,高精細・高精細・高精細・高精細・高精細な顔交換のための新しいエンドツーエンド統合フレームワークを提案する。 顔の知覚とブレンドをエンドツーエンドのトレーニングとテストのプロセスに統合することで、野生の顔に高いリアルな顔スワッピングを実現することができる。
  論文  参考訳（メタデータ） (2023-03-07T19:16:20Z)
• StyleSwap: Style-Based Generator Empowers Robust Face Swapping [90.05775519962303]
  StyleSwapという簡潔で効果的なフレームワークを紹介します。 私たちの中核となる考え方は、スタイルベースのジェネレータを活用して、高忠実で堅牢な顔交換を可能にすることです。 最小限の変更だけで、StyleGAN2アーキテクチャはソースとターゲットの両方から望まれる情報をうまく処理できる。
  論文  参考訳（メタデータ） (2022-09-27T16:35:16Z)
• HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
  本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。 本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
  論文  参考訳（メタデータ） (2021-06-18T07:39:09Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping [43.236261887752065]
  本研究では,顔交換のための2段階フレームワークであるFaceShifterを提案する。 最初の段階では、ターゲット属性を徹底的かつ適応的に利用して、スワップされた顔を高忠実に生成する。 難解な顔合成に対処するために、HEAR-Net(Huristic Err Accnowledging Refinement Network)と呼ばれる新しいヒューリスティック・エラー認識ネットワーク(Heuristic Err Acknowledging Refinement Network)の第2ステージを付加する。
  論文  参考訳（メタデータ） (2019-12-31T17:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。