論文の概要: SelfSwapper: Self-Supervised Face Swapping via Shape Agnostic Masked AutoEncoder

• arxiv url: http://arxiv.org/abs/2402.07370v1
• Date: Mon, 12 Feb 2024 02:01:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 15:56:26.822629
• Title: SelfSwapper: Self-Supervised Face Swapping via Shape Agnostic Masked AutoEncoder
• Title（参考訳）: SelfSwapper:シェイプ・アグノスティック・マスクド・オートエンコーダによる自己監督型顔スワップ
• Authors: Jaeseong Lee, Junha Hyung, Sohyun Jeong, Jaegul Choo
• Abstract要約: 本稿では,Shape Agnostic Masked AutoEncoder (SAMAE) トレーニングスキームを紹介する。 従来のシーソーゲームを回避することで,従来のトレーニング手法の限界に対処する。 入力画像の顔領域を隠蔽し、学習された非絡み合ったアイデンティティと非同一性の特徴を利用することにより、ID漏洩を効果的に軽減する。
• 参考スコア（独自算出の注目度）: 35.087874433022904
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Face swapping has gained significant attention for its varied applications. The majority of previous face swapping approaches have relied on the seesaw game training scheme, which often leads to the instability of the model training and results in undesired samples with blended identities due to the target identity leakage problem. This paper introduces the Shape Agnostic Masked AutoEncoder (SAMAE) training scheme, a novel self-supervised approach designed to enhance face swapping model training. Our training scheme addresses the limitations of traditional training methods by circumventing the conventional seesaw game and introducing clear ground truth through its self-reconstruction training regime. It effectively mitigates identity leakage by masking facial regions of the input images and utilizing learned disentangled identity and non-identity features. Additionally, we tackle the shape misalignment problem with new techniques including perforation confusion and random mesh scaling, and establishes a new state-of-the-art, surpassing other baseline methods, preserving both identity and non-identity attributes, without sacrificing on either aspect.
• Abstract（参考訳）: フェイススワップは様々な用途で大きな注目を集めている。 従来のフェイススワップ手法の大半はシーソーゲームトレーニング方式に依存しており、モデルトレーニングの不安定さを招き、ターゲットのID漏洩問題による混合IDを持つ望ましくないサンプルが生じることが多い。 本稿では,顔スワッピングモデルトレーニングの強化を目的とした,新しい自己教師型アプローチであるShape Agnostic Masked AutoEncoder (SAMAE) トレーニングスキームを提案する。 本研究は,従来のシーソーゲームを回避し,その自己再構築訓練方式を通したクリア・グラウンド・真実を導入することで,従来のトレーニング手法の限界に対処した。 入力画像の顔領域を隠蔽し、学習された非絡み合ったアイデンティティと非同一性の特徴を利用することにより、ID漏洩を効果的に軽減する。 さらに, パーフォレーション・混乱やランダムメッシュ・スケーリングといった新しい手法を用いて形状不整合問題に取り組み, 両面を犠牲にすることなく, 同一性と非同一性の両方を保ちながら, 新たな最先端の手法を確立する。

関連論文リスト

• Foundation Cures Personalization: Recovering Facial Personalized Models' Prompt Consistency [33.35678923549471]
  FreeCureは、基礎モデル自体から固有の知識を活用して、パーソナライゼーションモデルの迅速な一貫性を改善する、トレーニング不要のフレームワークである。 パーソナライズモデルの出力における複数の属性を、新しいノイズブリーディング戦略と反転に基づくプロセスによって強化する。
  論文  参考訳（メタデータ） (2024-11-22T15:21:38Z)
• ID-Guard: A Universal Framework for Combating Facial Manipulation via Breaking Identification [60.73617868629575]
  深層学習に基づく顔操作の誤用は、公民権に対する潜在的な脅威となる。 この不正行為を防ぐため、プロアクティブな防御技術が提案され、操作プロセスを妨害した。 我々は,ID-Guardと呼ばれる,顔操作と戦うための新しい普遍的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-20T09:30:08Z)
• Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models [69.50286698375386]
  フェース・スワッピングのための拡散モデルを改善する新しい手法を提案する。 インペイントトレーニング中にマスクシャッフル技術を導入し、スワップのためのいわゆるユニバーサルモデルを作成することができる。 私たちのアプローチは比較的統一されたアプローチなので、他のオフザシェルフモデルのエラーに対して耐性があります。
  論文  参考訳（メタデータ） (2024-09-11T13:43:53Z)
• Time-Aware Face Anti-Spoofing with Rotation Invariant Local Binary Patterns and Deep Learning [50.79277723970418]
  模倣攻撃は 不正な識別と その後の攻撃者の認証につながる 顔認識と同様に、模倣攻撃も機械学習で検出できる。 本稿では,未使用の機能と時間認識の深層学習戦略を組み合わせることで,高い分類精度を実現する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-08-27T07:26:10Z)
• Face Reconstruction Transfer Attack as Out-of-Distribution Generalization [15.258162177124317]
  未確認エンコーダに対する顔攻撃を転送できる顔画像の再構成を目指す。 OODの性質に着想を得て,疑似目標(ALSUV)を用いた平均遅延探索と教師なし検証による顔再構成伝達攻撃(FRTA)の解法を提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:21:44Z)
• FaceDancer: Pose- and Occlusion-Aware High Fidelity Face Swapping [62.38898610210771]
  そこで我々は,FaceDancerという顔のスワップとID転送のための新しい単一ステージ手法を提案する。 アダプティブ・フィーチャー・フュージョン・アテンション(AFFA)と解釈的特徴類似性規則化(IFSR)の2つの主要なコントリビューションがある。
  論文  参考訳（メタデータ） (2022-10-19T11:31:38Z)
• Restricted Black-box Adversarial Attack Against DeepFake Face Swapping [70.82017781235535]
  本稿では,顔画像偽造モデルに対する問い合わせを一切必要としない現実的な敵攻撃を提案する。 本手法は,顔の再構成を行う代用モデルに基づいて構築され,置換モデルから非アクセス可能なブラックボックスDeepFakeモデルへの逆例を直接転送する。
  論文  参考訳（メタデータ） (2022-04-26T14:36:06Z)
• Robust and Precise Facial Landmark Detection by Self-Calibrated Pose Attention Network [73.56802915291917]
  より堅牢で正確な顔のランドマーク検出を実現するための半教師付きフレームワークを提案する。 より効果的な顔形状制約をモデル化するために,境界対応ランドマーク強度(BALI)フィールドを提案する。 自己キャリブレーション・ポース・アテンション(SCPA)モデルは、中間的監督を強制する自己学習型目標関数を提供するように設計されている。
  論文  参考訳（メタデータ） (2021-12-23T02:51:08Z)
• FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping [43.236261887752065]
  本研究では,顔交換のための2段階フレームワークであるFaceShifterを提案する。 最初の段階では、ターゲット属性を徹底的かつ適応的に利用して、スワップされた顔を高忠実に生成する。 難解な顔合成に対処するために、HEAR-Net(Huristic Err Accnowledging Refinement Network)と呼ばれる新しいヒューリスティック・エラー認識ネットワーク(Heuristic Err Acknowledging Refinement Network)の第2ステージを付加する。
  論文  参考訳（メタデータ） (2019-12-31T17:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。