論文の概要: SelfSwapper: Self-Supervised Face Swapping via Shape Agnostic Masked AutoEncoder

• arxiv url: http://arxiv.org/abs/2402.07370v2
• Date: Mon, 22 Jul 2024 15:32:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 02:50:43.560109
• Title: SelfSwapper: Self-Supervised Face Swapping via Shape Agnostic Masked AutoEncoder
• Title（参考訳）: SelfSwapper:シェイプ・アグノスティック・マスクド・オートエンコーダによる自己監督型顔スワップ
• Authors: Jaeseong Lee, Junha Hyung, Sohyun Jeong, Jaegul Choo,
• Abstract要約: 本稿では、ターゲット指向とソース指向の両方のアプローチの強みを組み合わせた、新しい自己教師型アプローチであるShape Agnostic Masked AutoEncoder(SAMAE)トレーニングスキームを紹介する。 本モデルでは,識別情報の漏洩を効果的に軽減し,学習対象のアルベドや照明を不整合性や非同一性の特徴によって反映する。
• 参考スコア（独自算出の注目度）: 32.11915959516309
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Face swapping has gained significant attention for its varied applications. Most previous face swapping approaches have relied on the seesaw game training scheme, also known as the target-oriented approach. However, this often leads to instability in model training and results in undesired samples with blended identities due to the target identity leakage problem. Source-oriented methods achieve more stable training with self-reconstruction objective but often fail to accurately reflect target image's skin color and illumination. This paper introduces the Shape Agnostic Masked AutoEncoder (SAMAE) training scheme, a novel self-supervised approach that combines the strengths of both target-oriented and source-oriented approaches. Our training scheme addresses the limitations of traditional training methods by circumventing the conventional seesaw game and introducing clear ground truth through its self-reconstruction training regime. Our model effectively mitigates identity leakage and reflects target albedo and illumination through learned disentangled identity and non-identity features. Additionally, we closely tackle the shape misalignment and volume discrepancy problems with new techniques, including perforation confusion and random mesh scaling. SAMAE establishes a new state-of-the-art, surpassing other baseline methods, preserving both identity and non-identity attributes without sacrificing on either aspect.
• Abstract（参考訳）: 顔交換は様々な用途で注目されている。 以前のフェイススワップアプローチは、標的指向アプローチとしても知られるシーソーゲームトレーニングスキームに依存していた。 しかし、これはしばしばモデルトレーニングの不安定性を招き、ターゲットのアイデンティティリーク問題により、混合されたアイデンティティを持つ望ましくないサンプルが生じる。 ソース指向の手法は、自己再構成目標によるより安定したトレーニングを実現するが、しばしばターゲット画像の肌の色と照明を正確に反映することができない。 本稿では,ターゲット指向とソース指向の両アプローチの長所を組み合わせた,新たな自己教師型アプローチであるShape Agnostic Masked AutoEncoder(SAMAE)について紹介する。 本手法は,従来のシーソーゲームを回避することによる従来の訓練手法の限界に対処する。 本モデルでは,識別情報の漏洩を効果的に軽減し,学習対象のアルベドや照明を不整合性や非同一性の特徴によって反映する。 さらに, 穿孔混入や乱れメッシュスケーリングなどの新しい手法を用いて, 形状の不整合や体積差の問題に密接に取り組んだ。 SAMAEは、新しい最先端のメソッドを確立し、どちらの側面も犠牲にすることなく、アイデンティティと非アイデンティティ属性の両方を保存する。

関連論文リスト

• Foundation Cures Personalization: Recovering Facial Personalized Models' Prompt Consistency [33.35678923549471]
  FreeCureは、基礎モデル自体から固有の知識を活用して、パーソナライゼーションモデルの迅速な一貫性を改善する、トレーニング不要のフレームワークである。 パーソナライズモデルの出力における複数の属性を、新しいノイズブリーディング戦略と反転に基づくプロセスによって強化する。
  論文  参考訳（メタデータ） (2024-11-22T15:21:38Z)
• ID-Guard: A Universal Framework for Combating Facial Manipulation via Breaking Identification [60.73617868629575]
  深層学習に基づく顔操作の誤用は、公民権に対する潜在的な脅威となる。 この不正行為を防ぐため、プロアクティブな防御技術が提案され、操作プロセスを妨害した。 我々は,ID-Guardと呼ばれる,顔操作と戦うための新しい普遍的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-20T09:30:08Z)
• Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models [69.50286698375386]
  フェース・スワッピングのための拡散モデルを改善する新しい手法を提案する。 インペイントトレーニング中にマスクシャッフル技術を導入し、スワップのためのいわゆるユニバーサルモデルを作成することができる。 私たちのアプローチは比較的統一されたアプローチなので、他のオフザシェルフモデルのエラーに対して耐性があります。
  論文  参考訳（メタデータ） (2024-09-11T13:43:53Z)
• Time-Aware Face Anti-Spoofing with Rotation Invariant Local Binary Patterns and Deep Learning [50.79277723970418]
  模倣攻撃は 不正な識別と その後の攻撃者の認証につながる 顔認識と同様に、模倣攻撃も機械学習で検出できる。 本稿では,未使用の機能と時間認識の深層学習戦略を組み合わせることで,高い分類精度を実現する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-08-27T07:26:10Z)
• Face Reconstruction Transfer Attack as Out-of-Distribution Generalization [15.258162177124317]
  未確認エンコーダに対する顔攻撃を転送できる顔画像の再構成を目指す。 OODの性質に着想を得て,疑似目標(ALSUV)を用いた平均遅延探索と教師なし検証による顔再構成伝達攻撃(FRTA)の解法を提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:21:44Z)
• FaceDancer: Pose- and Occlusion-Aware High Fidelity Face Swapping [62.38898610210771]
  そこで我々は,FaceDancerという顔のスワップとID転送のための新しい単一ステージ手法を提案する。 アダプティブ・フィーチャー・フュージョン・アテンション(AFFA)と解釈的特徴類似性規則化(IFSR)の2つの主要なコントリビューションがある。
  論文  参考訳（メタデータ） (2022-10-19T11:31:38Z)
• Restricted Black-box Adversarial Attack Against DeepFake Face Swapping [70.82017781235535]
  本稿では,顔画像偽造モデルに対する問い合わせを一切必要としない現実的な敵攻撃を提案する。 本手法は,顔の再構成を行う代用モデルに基づいて構築され,置換モデルから非アクセス可能なブラックボックスDeepFakeモデルへの逆例を直接転送する。
  論文  参考訳（メタデータ） (2022-04-26T14:36:06Z)
• Robust and Precise Facial Landmark Detection by Self-Calibrated Pose Attention Network [73.56802915291917]
  より堅牢で正確な顔のランドマーク検出を実現するための半教師付きフレームワークを提案する。 より効果的な顔形状制約をモデル化するために,境界対応ランドマーク強度(BALI)フィールドを提案する。 自己キャリブレーション・ポース・アテンション(SCPA)モデルは、中間的監督を強制する自己学習型目標関数を提供するように設計されている。
  論文  参考訳（メタデータ） (2021-12-23T02:51:08Z)
• FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping [43.236261887752065]
  本研究では,顔交換のための2段階フレームワークであるFaceShifterを提案する。 最初の段階では、ターゲット属性を徹底的かつ適応的に利用して、スワップされた顔を高忠実に生成する。 難解な顔合成に対処するために、HEAR-Net(Huristic Err Accnowledging Refinement Network)と呼ばれる新しいヒューリスティック・エラー認識ネットワーク(Heuristic Err Acknowledging Refinement Network)の第2ステージを付加する。
  論文  参考訳（メタデータ） (2019-12-31T17:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。