論文の概要: SelfSwapper: Self-Supervised Face Swapping via Shape Agnostic Masked
AutoEncoder
- arxiv url: http://arxiv.org/abs/2402.07370v1
- Date: Mon, 12 Feb 2024 02:01:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 15:56:26.822629
- Title: SelfSwapper: Self-Supervised Face Swapping via Shape Agnostic Masked
AutoEncoder
- Title(参考訳): SelfSwapper:シェイプ・アグノスティック・マスクド・オートエンコーダによる自己監督型顔スワップ
- Authors: Jaeseong Lee, Junha Hyung, Sohyun Jeong, Jaegul Choo
- Abstract要約: 本稿では,Shape Agnostic Masked AutoEncoder (SAMAE) トレーニングスキームを紹介する。
従来のシーソーゲームを回避することで,従来のトレーニング手法の限界に対処する。
入力画像の顔領域を隠蔽し、学習された非絡み合ったアイデンティティと非同一性の特徴を利用することにより、ID漏洩を効果的に軽減する。
- 参考スコア(独自算出の注目度): 35.087874433022904
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Face swapping has gained significant attention for its varied applications.
The majority of previous face swapping approaches have relied on the seesaw
game training scheme, which often leads to the instability of the model
training and results in undesired samples with blended identities due to the
target identity leakage problem. This paper introduces the Shape Agnostic
Masked AutoEncoder (SAMAE) training scheme, a novel self-supervised approach
designed to enhance face swapping model training. Our training scheme addresses
the limitations of traditional training methods by circumventing the
conventional seesaw game and introducing clear ground truth through its
self-reconstruction training regime. It effectively mitigates identity leakage
by masking facial regions of the input images and utilizing learned
disentangled identity and non-identity features. Additionally, we tackle the
shape misalignment problem with new techniques including perforation confusion
and random mesh scaling, and establishes a new state-of-the-art, surpassing
other baseline methods, preserving both identity and non-identity attributes,
without sacrificing on either aspect.
- Abstract(参考訳): フェイススワップは様々な用途で大きな注目を集めている。
従来のフェイススワップ手法の大半はシーソーゲームトレーニング方式に依存しており、モデルトレーニングの不安定さを招き、ターゲットのID漏洩問題による混合IDを持つ望ましくないサンプルが生じることが多い。
本稿では,顔スワッピングモデルトレーニングの強化を目的とした,新しい自己教師型アプローチであるShape Agnostic Masked AutoEncoder (SAMAE) トレーニングスキームを提案する。
本研究は,従来のシーソーゲームを回避し,その自己再構築訓練方式を通したクリア・グラウンド・真実を導入することで,従来のトレーニング手法の限界に対処した。
入力画像の顔領域を隠蔽し、学習された非絡み合ったアイデンティティと非同一性の特徴を利用することにより、ID漏洩を効果的に軽減する。
さらに, パーフォレーション・混乱やランダムメッシュ・スケーリングといった新しい手法を用いて形状不整合問題に取り組み, 両面を犠牲にすることなく, 同一性と非同一性の両方を保ちながら, 新たな最先端の手法を確立する。
関連論文リスト
- StableIdentity: Inserting Anybody into Anywhere at First Sight [57.99693188913382]
一つの顔画像で同一性に一貫性のある再テクスチャ化を可能にするStableIdentityを提案する。
私たちは、1つの画像から学んだアイデンティティを直接、微調整なしでビデオ/3D生成に注入する最初の人です。
論文 参考訳(メタデータ) (2024-01-29T09:06:15Z) - High-Fidelity Face Swapping with Style Blending [16.024260677867076]
高忠実な顔交換のための革新的なエンドツーエンドフレームワークを提案する。
まず、スタイルGANベースの顔属性エンコーダを導入し、顔から重要な特徴を抽出し、潜在スタイルコードに変換する。
第二に、ターゲットからターゲットへFace IDを効果的に転送するアテンションベースのスタイルブレンディングモジュールを導入する。
論文 参考訳(メタデータ) (2023-12-17T23:22:37Z) - BlendFace: Re-designing Identity Encoders for Face-Swapping [2.320417845168326]
BlendFaceはフェイススワッピングのための新しいアイデンティティエンコーダである。
アイデンティティ機能をジェネレータに切り離し、ID損失関数としてジェネレータを適切に誘導する。
大規模な実験により、BlendFaceはフェイススワッピングモデルにおけるID-属性のゆがみを改善することが示されている。
論文 参考訳(メタデータ) (2023-07-20T13:17:30Z) - Learning Representations for Masked Facial Recovery [8.124282476398843]
近年のパンデミックは 公共の場で 防護マスクを着用している人が 劇的に増えています
この問題に対処する1つの方法は、前処理のステップとして、フェイスリカバリメソッドに戻ることです。
マスクを被った同一人物の画像から顔画像の復元に特有な方法を提案する。
論文 参考訳(メタデータ) (2022-12-28T22:22:15Z) - FaceDancer: Pose- and Occlusion-Aware High Fidelity Face Swapping [62.38898610210771]
そこで我々は,FaceDancerという顔のスワップとID転送のための新しい単一ステージ手法を提案する。
アダプティブ・フィーチャー・フュージョン・アテンション(AFFA)と解釈的特徴類似性規則化(IFSR)の2つの主要なコントリビューションがある。
論文 参考訳(メタデータ) (2022-10-19T11:31:38Z) - Mask-invariant Face Recognition through Template-level Knowledge
Distillation [3.727773051465455]
マスクは従来の顔認識システムの性能に影響を与える。
マスク不変顔認識ソリューション(MaskInv)を提案する。
蒸留された知識に加えて、学生ネットワークは、マージンベースのアイデンティティ分類損失による追加ガイダンスの恩恵を受ける。
論文 参考訳(メタデータ) (2021-12-10T16:19:28Z) - Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo
Collection [65.92058628082322]
非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。
本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T03:10:17Z) - Semi-Siamese Training for Shallow Face Learning [78.7386209619276]
セミ・シームズ・トレーニング(SST)という新しいトレーニング手法を導入する。
一対のセミ・シームズネットワークが前方伝播構造を構成し、トレーニング損失を更新ギャラリーキューで計算する。
提案手法は外部依存を伴わずに開発されており,既存の損失関数やネットワークアーキテクチャと柔軟に統合することができる。
論文 参考訳(メタデータ) (2020-07-16T15:20:04Z) - DotFAN: A Domain-transferred Face Augmentation Network for Pose and
Illumination Invariant Face Recognition [94.96686189033869]
本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。
DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。
実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
論文 参考訳(メタデータ) (2020-02-23T08:16:34Z) - FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping [43.236261887752065]
本研究では,顔交換のための2段階フレームワークであるFaceShifterを提案する。
最初の段階では、ターゲット属性を徹底的かつ適応的に利用して、スワップされた顔を高忠実に生成する。
難解な顔合成に対処するために、HEAR-Net(Huristic Err Accnowledging Refinement Network)と呼ばれる新しいヒューリスティック・エラー認識ネットワーク(Heuristic Err Acknowledging Refinement Network)の第2ステージを付加する。
論文 参考訳(メタデータ) (2019-12-31T17:57:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。