論文の概要: DiffAM: Diffusion-based Adversarial Makeup Transfer for Facial Privacy Protection

• arxiv url: http://arxiv.org/abs/2405.09882v1
• Date: Thu, 16 May 2024 08:05:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-17 15:01:20.802524
• Title: DiffAM: Diffusion-based Adversarial Makeup Transfer for Facial Privacy Protection
• Title（参考訳）: DiffAM: 顔のプライバシ保護のための拡散型対向メイクアップ転送
• Authors: Yuhao Sun, Lingyun Yu, Hongtao Xie, Jiaming Li, Yongdong Zhang,
• Abstract要約: DiffAMは、基準画像から対向的な化粧を施した高品質な顔画像を生成するための新しいアプローチである。 実験の結果、DiffAMはブラックボックス設定で12.98%上昇し、視覚的品質の向上と攻撃の成功率の向上を実現している。
• 参考スコア（独自算出の注目度）: 60.73609509756533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid development of face recognition (FR) systems, the privacy of face images on social media is facing severe challenges due to the abuse of unauthorized FR systems. Some studies utilize adversarial attack techniques to defend against malicious FR systems by generating adversarial examples. However, the generated adversarial examples, i.e., the protected face images, tend to suffer from subpar visual quality and low transferability. In this paper, we propose a novel face protection approach, dubbed DiffAM, which leverages the powerful generative ability of diffusion models to generate high-quality protected face images with adversarial makeup transferred from reference images. To be specific, we first introduce a makeup removal module to generate non-makeup images utilizing a fine-tuned diffusion model with guidance of textual prompts in CLIP space. As the inverse process of makeup transfer, makeup removal can make it easier to establish the deterministic relationship between makeup domain and non-makeup domain regardless of elaborate text prompts. Then, with this relationship, a CLIP-based makeup loss along with an ensemble attack strategy is introduced to jointly guide the direction of adversarial makeup domain, achieving the generation of protected face images with natural-looking makeup and high black-box transferability. Extensive experiments demonstrate that DiffAM achieves higher visual quality and attack success rates with a gain of 12.98% under black-box setting compared with the state of the arts. The code will be available at https://github.com/HansSunY/DiffAM.
• Abstract（参考訳）: 顔認識システム(FR)の急速な発展に伴い、ソーシャルメディア上の顔画像のプライバシーは、未承認のFRシステムの悪用により深刻な問題に直面している。 敵攻撃技術を用いて悪意のあるFR系を防御する研究もある。 しかし、保護された顔画像のような生成した対向的な例は、視力の劣る品質と低転送性に悩まされる傾向にある。 本稿では,DiffAMと呼ばれる新しい顔保護手法を提案する。この手法は,拡散モデルの強力な生成能力を利用して,基準画像から逆方向の化粧を施した高品質な顔画像を生成する。 具体的には、CLIP空間におけるテキストプロンプトのガイダンスを用いた微調整拡散モデルを用いて、非メイクアップ画像を生成する化粧除去モジュールを最初に導入する。 メークアップ転送の逆過程として、メイクアップドメインと非メイクアップドメインとの確定的関係を、精巧なテキストプロンプトによらず容易に確立することができる。 そして、この関係により、CLIPベースの化粧損とアンサンブル攻撃戦略を導入し、対向化粧領域の方向を共同で案内し、自然な化粧と高いブラックボックス転写性を有する保護顔画像の生成を実現する。 大規模な実験により、DiffAMはブラックボックス設定で12.98%上昇し、視覚的品質の向上と攻撃の成功率の向上を実現している。 コードはhttps://github.com/HansSunY/DiffAM.comで入手できる。

関連論文リスト

• DiffusionGuard: A Robust Defense Against Malicious Diffusion-based Image Editing [93.45507533317405]
  DiffusionGuardは、拡散ベースの画像編集モデルによる不正な編集に対する堅牢で効果的な防御方法である。 拡散過程の初期段階をターゲットとした対向雑音を発生させる新しい目的を提案する。 また,テスト期間中の各種マスクに対するロバスト性を高めるマスク強化手法も導入した。
  論文  参考訳（メタデータ） (2024-10-08T05:19:19Z)
• Makeup-Guided Facial Privacy Protection via Untrained Neural Network Priors [20.006182211662853]
  ディープラーニングベースの顔認識システムは、ユーザーの同意なしにユーザーを追跡することによって、重大なプライバシーリスクを生じさせる。 最近の顔のプライバシー保護アプローチは、自然なメイクスタイルに敵対的ノイズを埋め込むことを提唱している。 これらのアプローチは、必ずしも容易に利用できない大規模なメイクアップデータセットのトレーニングを必要とする。 そこで本稿では,非トレーニングニューラルネットワークのみを最適化したテスト時間最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-08-20T17:59:39Z)
• Imperceptible Face Forgery Attack via Adversarial Semantic Mask [59.23247545399068]
  本稿では, 対向性, 可視性に優れた対向性例を生成できるASMA(Adversarial Semantic Mask Attack framework)を提案する。 具体的には, 局所的なセマンティック領域の摂動を抑制し, 良好なステルス性を実現する, 対向型セマンティックマスク生成モデルを提案する。
  論文  参考訳（メタデータ） (2024-06-16T10:38:11Z)
• 3D-Aware Adversarial Makeup Generation for Facial Privacy Protection [23.915259014651337]
  3DAM-GAN(3DAM-GAN) 新しいメイクアップ調整モジュール(MAM)とメイクアップ転送モジュール(MTM)で構成されるUVベースのジェネレータは、現実的で堅牢なメイクアップをレンダリングするために設計されている。 いくつかのベンチマークデータセットの実験結果は、3DAM-GANが様々なFRモデルに対して効果的に顔を保護することを示した。
  論文  参考訳（メタデータ） (2023-06-26T12:27:59Z)
• DiffProtect: Generate Adversarial Examples with Diffusion Models for Facial Privacy Protection [64.77548539959501]
  DiffProtectは最先端の方法よりも自然に見える暗号化画像を生成する。 例えば、CelebA-HQとFFHQのデータセットで24.5%と25.1%の絶対的な改善が達成されている。
  論文  参考訳（メタデータ） (2023-05-23T02:45:49Z)
• Attribute-Guided Encryption with Facial Texture Masking [64.77548539959501]
  本稿では,顔認識システムからユーザを保護するために,顔テクスチャマスキングを用いた属性ガイド暗号化を提案する。 提案手法は,最先端の手法よりも自然な画像を生成する。
  論文  参考訳（メタデータ） (2023-05-22T23:50:43Z)
• Restricted Black-box Adversarial Attack Against DeepFake Face Swapping [70.82017781235535]
  本稿では,顔画像偽造モデルに対する問い合わせを一切必要としない現実的な敵攻撃を提案する。 本手法は,顔の再構成を行う代用モデルに基づいて構築され,置換モデルから非アクセス可能なブラックボックスDeepFakeモデルへの逆例を直接転送する。
  論文  参考訳（メタデータ） (2022-04-26T14:36:06Z)
• Protecting Facial Privacy: Generating Adversarial Identity Masks via Style-robust Makeup Transfer [24.25863892897547]
  対向性化粧品転写GAN(AMT-GAN)は、対向性化粧品の顔画像構築を目的とした新しい顔保護法である。 本稿では,新しい正規化モジュールを導入するとともに,化粧品の移動における対向雑音とサイクル構成損失との矛盾を解消するための共同トレーニング戦略を導入する。
  論文  参考訳（メタデータ） (2022-03-07T03:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。