論文の概要: Towards Prompt-robust Face Privacy Protection via Adversarial Decoupling
Augmentation Framework
- arxiv url: http://arxiv.org/abs/2305.03980v1
- Date: Sat, 6 May 2023 09:00:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 18:16:52.316208
- Title: Towards Prompt-robust Face Privacy Protection via Adversarial Decoupling
Augmentation Framework
- Title(参考訳): 逆デカップリング強化フレームワークによるプロンプトロスト顔認証
- Authors: Ruijia Wu, Yuhang Wang, Huafeng Shi, Zhipeng Yu, Yichao Wu, Ding Liang
- Abstract要約: 顔認識保護アルゴリズムの防御性能を高めるために,Adversarial Decoupling Augmentation Framework (ADAF)を提案する。
ADAFは、様々な攻撃プロンプトに対する防御安定のために、多レベルテキスト関連の拡張を導入している。
- 参考スコア(独自算出の注目度): 20.652130361862053
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Denoising diffusion models have shown remarkable potential in various
generation tasks. The open-source large-scale text-to-image model, Stable
Diffusion, becomes prevalent as it can generate realistic artistic or facial
images with personalization through fine-tuning on a limited number of new
samples. However, this has raised privacy concerns as adversaries can acquire
facial images online and fine-tune text-to-image models for malicious editing,
leading to baseless scandals, defamation, and disruption to victims' lives.
Prior research efforts have focused on deriving adversarial loss from
conventional training processes for facial privacy protection through
adversarial perturbations. However, existing algorithms face two issues: 1)
they neglect the image-text fusion module, which is the vital module of
text-to-image diffusion models, and 2) their defensive performance is unstable
against different attacker prompts. In this paper, we propose the Adversarial
Decoupling Augmentation Framework (ADAF), addressing these issues by targeting
the image-text fusion module to enhance the defensive performance of facial
privacy protection algorithms. ADAF introduces multi-level text-related
augmentations for defense stability against various attacker prompts.
Concretely, considering the vision, text, and common unit space, we propose
Vision-Adversarial Loss, Prompt-Robust Augmentation, and Attention-Decoupling
Loss. Extensive experiments on CelebA-HQ and VGGFace2 demonstrate ADAF's
promising performance, surpassing existing algorithms.
- Abstract(参考訳): 消音拡散モデルは様々な世代のタスクにおいて顕著な可能性を示している。
オープンソースの大規模テキスト対画像モデルであるstable diffusionは、限られた数のサンプルを微調整することで、パーソナライズされたリアルな芸術的画像や顔画像を生成することができるため、広く普及している。
しかし、悪意のある編集のために顔画像や微調整されたテキストから画像へのモデルがオンラインで入手でき、根拠のないスキャンダルや名誉喪失、被害者の生活の混乱に繋がるなど、プライバシーの懸念が高まっている。
以前の研究は、敵の摂動を通じて顔のプライバシーを保護する従来の訓練プロセスから敵の損失を導き出すことに重点を置いてきた。
しかし、既存のアルゴリズムは2つの問題に直面している。
1)テキスト・ツー・イメージ拡散モデルの不可欠なモジュールである画像・テキスト融合モジュールを無視し、
2) 防御性能は異なる攻撃プロンプトに対して不安定である。
本稿では,顔のプライバシー保護アルゴリズムの防御性能を高めるために,画像テキスト融合モジュールをターゲットとしたAdversarial Decoupling Augmentation Framework (ADAF)を提案する。
ADAFは、様々な攻撃プロンプトに対する防御安定のために、多レベルテキスト関連の拡張を導入している。
具体的には,視覚,テキスト,共通単位空間を考慮し,視覚-敵対的損失,即席ロバスト拡張,注意分離損失を提案する。
CelebA-HQとVGGFace2の大規模な実験は、ADAFが既存のアルゴリズムを上回る有望な性能を示した。
関連論文リスト
- NeRFTAP: Enhancing Transferability of Adversarial Patches on Face
Recognition using Neural Radiance Fields [15.823538329365348]
本稿では、FRモデルへの転送可能性と被害者の顔画像の両方を考慮し、新たな敵攻撃法を提案する。
我々は,敵パッチの転送可能性を高めるために,ソースと対象対象のための新しいビューフェイス画像を生成する。
本研究は, FRシステムの強靭性向上に有用な知見を提供する。
論文 参考訳(メタデータ) (2023-11-29T03:17:14Z) - Adversarial Prompt Tuning for Vision-Language Models [90.89469048482249]
AdvPT(Adversarial Prompt Tuning)は、視覚言語モデル(VLM)における画像エンコーダの対向ロバスト性を高める技術である。
我々は,AdvPTが白箱攻撃や黒箱攻撃に対する抵抗性を向上し,既存の画像処理による防御技術と組み合わせることで相乗効果を示すことを示した。
論文 参考訳(メタデータ) (2023-11-19T07:47:43Z) - Diff-Privacy: Diffusion-based Face Privacy Protection [58.1021066224765]
本稿では,Diff-Privacyと呼ばれる拡散モデルに基づく顔のプライバシー保護手法を提案する。
具体的には、提案したマルチスケール画像インバージョンモジュール(MSI)をトレーニングし、元の画像のSDMフォーマット条件付き埋め込みのセットを得る。
本研究は,条件付き埋め込みに基づいて,組込みスケジューリング戦略を設計し,デノナイズプロセス中に異なるエネルギー関数を構築し,匿名化と視覚的アイデンティティ情報隠蔽を実現する。
論文 参考訳(メタデータ) (2023-09-11T09:26:07Z) - PRO-Face S: Privacy-preserving Reversible Obfuscation of Face Images via
Secure Flow [69.78820726573935]
保護フローベースモデルを用いて,プライバシ保護による顔画像の可逆難読化(Reversible Obfuscation of Face image)を略してpro-Face Sと命名する。
本フレームワークでは、Invertible Neural Network(INN)を使用して、入力画像と、その事前難読化されたフォームとを処理し、事前難読化された画像と視覚的に近似したプライバシー保護された画像を生成する。
論文 参考訳(メタデータ) (2023-07-18T10:55:54Z) - DiffProtect: Generate Adversarial Examples with Diffusion Models for
Facial Privacy Protection [64.77548539959501]
DiffProtectは最先端の方法よりも自然に見える暗号化画像を生成する。
例えば、CelebA-HQとFFHQのデータセットで24.5%と25.1%の絶対的な改善が達成されている。
論文 参考訳(メタデータ) (2023-05-23T02:45:49Z) - Attribute-Guided Encryption with Facial Texture Masking [64.77548539959501]
本稿では,顔認識システムからユーザを保護するために,顔テクスチャマスキングを用いた属性ガイド暗号化を提案する。
提案手法は,最先端の手法よりも自然な画像を生成する。
論文 参考訳(メタデータ) (2023-05-22T23:50:43Z) - Restricted Black-box Adversarial Attack Against DeepFake Face Swapping [70.82017781235535]
本稿では,顔画像偽造モデルに対する問い合わせを一切必要としない現実的な敵攻撃を提案する。
本手法は,顔の再構成を行う代用モデルに基づいて構築され,置換モデルから非アクセス可能なブラックボックスDeepFakeモデルへの逆例を直接転送する。
論文 参考訳(メタデータ) (2022-04-26T14:36:06Z) - Protecting Facial Privacy: Generating Adversarial Identity Masks via
Style-robust Makeup Transfer [24.25863892897547]
対向性化粧品転写GAN(AMT-GAN)は、対向性化粧品の顔画像構築を目的とした新しい顔保護法である。
本稿では,新しい正規化モジュールを導入するとともに,化粧品の移動における対向雑音とサイクル構成損失との矛盾を解消するための共同トレーニング戦略を導入する。
論文 参考訳(メタデータ) (2022-03-07T03:56:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。