論文の概要: Towards Prompt-robust Face Privacy Protection via Adversarial Decoupling Augmentation Framework

• arxiv url: http://arxiv.org/abs/2305.03980v1
• Date: Sat, 6 May 2023 09:00:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 18:16:52.316208
• Title: Towards Prompt-robust Face Privacy Protection via Adversarial Decoupling Augmentation Framework
• Title（参考訳）: 逆デカップリング強化フレームワークによるプロンプトロスト顔認証
• Authors: Ruijia Wu, Yuhang Wang, Huafeng Shi, Zhipeng Yu, Yichao Wu, Ding Liang
• Abstract要約: 顔認識保護アルゴリズムの防御性能を高めるために,Adversarial Decoupling Augmentation Framework (ADAF)を提案する。 ADAFは、様々な攻撃プロンプトに対する防御安定のために、多レベルテキスト関連の拡張を導入している。
• 参考スコア（独自算出の注目度）: 20.652130361862053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Denoising diffusion models have shown remarkable potential in various generation tasks. The open-source large-scale text-to-image model, Stable Diffusion, becomes prevalent as it can generate realistic artistic or facial images with personalization through fine-tuning on a limited number of new samples. However, this has raised privacy concerns as adversaries can acquire facial images online and fine-tune text-to-image models for malicious editing, leading to baseless scandals, defamation, and disruption to victims' lives. Prior research efforts have focused on deriving adversarial loss from conventional training processes for facial privacy protection through adversarial perturbations. However, existing algorithms face two issues: 1) they neglect the image-text fusion module, which is the vital module of text-to-image diffusion models, and 2) their defensive performance is unstable against different attacker prompts. In this paper, we propose the Adversarial Decoupling Augmentation Framework (ADAF), addressing these issues by targeting the image-text fusion module to enhance the defensive performance of facial privacy protection algorithms. ADAF introduces multi-level text-related augmentations for defense stability against various attacker prompts. Concretely, considering the vision, text, and common unit space, we propose Vision-Adversarial Loss, Prompt-Robust Augmentation, and Attention-Decoupling Loss. Extensive experiments on CelebA-HQ and VGGFace2 demonstrate ADAF's promising performance, surpassing existing algorithms.
• Abstract（参考訳）: 消音拡散モデルは様々な世代のタスクにおいて顕著な可能性を示している。 オープンソースの大規模テキスト対画像モデルであるstable diffusionは、限られた数のサンプルを微調整することで、パーソナライズされたリアルな芸術的画像や顔画像を生成することができるため、広く普及している。 しかし、悪意のある編集のために顔画像や微調整されたテキストから画像へのモデルがオンラインで入手でき、根拠のないスキャンダルや名誉喪失、被害者の生活の混乱に繋がるなど、プライバシーの懸念が高まっている。 以前の研究は、敵の摂動を通じて顔のプライバシーを保護する従来の訓練プロセスから敵の損失を導き出すことに重点を置いてきた。 しかし、既存のアルゴリズムは2つの問題に直面している。 1)テキスト・ツー・イメージ拡散モデルの不可欠なモジュールである画像・テキスト融合モジュールを無視し、 2) 防御性能は異なる攻撃プロンプトに対して不安定である。 本稿では,顔のプライバシー保護アルゴリズムの防御性能を高めるために,画像テキスト融合モジュールをターゲットとしたAdversarial Decoupling Augmentation Framework (ADAF)を提案する。 ADAFは、様々な攻撃プロンプトに対する防御安定のために、多レベルテキスト関連の拡張を導入している。 具体的には,視覚,テキスト,共通単位空間を考慮し,視覚-敵対的損失,即席ロバスト拡張,注意分離損失を提案する。 CelebA-HQとVGGFace2の大規模な実験は、ADAFが既存のアルゴリズムを上回る有望な性能を示した。

関連論文リスト

• AdvI2I: Adversarial Image Attack on Image-to-Image Diffusion models [20.37481116837779]
  AdvI2Iは、入力画像を操作して拡散モデルを誘導し、NSFWコンテンツを生成する新しいフレームワークである。 ジェネレータを最適化して敵画像を作成することで、AdvI2Iは既存の防御機構を回避できる。 本稿では,AdvI2IとAdvI2I-Adaptiveの両方が,現行の安全対策を効果的に回避可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-28T19:15:06Z)
• DiffusionGuard: A Robust Defense Against Malicious Diffusion-based Image Editing [93.45507533317405]
  DiffusionGuardは、拡散ベースの画像編集モデルによる不正な編集に対する堅牢で効果的な防御方法である。 拡散過程の初期段階をターゲットとした対向雑音を発生させる新しい目的を提案する。 また,テスト期間中の各種マスクに対するロバスト性を高めるマスク強化手法も導入した。
  論文  参考訳（メタデータ） (2024-10-08T05:19:19Z)
• ID-Guard: A Universal Framework for Combating Facial Manipulation via Breaking Identification [60.73617868629575]
  深層学習に基づく顔操作の誤用は、公民権に対する潜在的な脅威となる。 この不正行為を防ぐため、プロアクティブな防御技術が提案され、操作プロセスを妨害した。 我々は,ID-Guardと呼ばれる,顔操作と戦うための新しい普遍的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-20T09:30:08Z)
• Transferable Adversarial Facial Images for Privacy Protection [15.211743719312613]
  視覚的品質を維持しつつ、転送性を改善した新しい顔プライバシー保護方式を提案する。 生成モデルの潜在空間をトラバースするために,まずグローバルな逆潜時探索を利用する。 次に、視覚的アイデンティティ情報を保存するための重要なランドマーク正規化モジュールを導入する。
  論文  参考訳（メタデータ） (2024-07-18T02:16:11Z)
• Disrupting Diffusion-based Inpainters with Semantic Digression [20.10876695099345]
  Web やソーシャルメディア上での視覚的誤情報の生成は,テキスト・画像拡散モデルの出現とともに指数関数的に増加している。 すなわち、安定拡散のインペイントは、個人的および私的人物の悪意に塗られたイメージと、ディープフェイク(deepfakes)として知られる著作権のあるコンテンツの合成を可能にする。 このような世代と戦うために、フォトガードと呼ばれる破壊的枠組みが提案され、環境画像に逆ノイズを加えて、その影響を和らげる合成を妨害する。 彼らのフレームワークは拡散に親しみやすいアプローチを提案するが、破壊は十分に強くはなく、コンテキストイメージを免疫するのにかなりの量のGPUと時間を必要とする。
  論文  参考訳（メタデータ） (2024-07-14T17:21:19Z)
• Anonymization Prompt Learning for Facial Privacy-Preserving Text-to-Image Generation [56.46932751058042]
  我々は、テキストから画像への拡散モデルのための学習可能なプロンプトプレフィックスをトレーニングし、匿名化された顔のアイデンティティを生成するよう強制する。 実験では,非同一性固有の画像生成の品質を損なうことなく,特定の個人を匿名化するAPLの匿名化性能を実証した。
  論文  参考訳（メタデータ） (2024-05-27T07:38:26Z)
• DiffAM: Diffusion-based Adversarial Makeup Transfer for Facial Privacy Protection [60.73609509756533]
  DiffAMは、基準画像から対向的な化粧を施した高品質な顔画像を生成するための新しいアプローチである。 実験の結果、DiffAMはブラックボックス設定で12.98%上昇し、視覚的品質の向上と攻撃の成功率の向上を実現している。
  論文  参考訳（メタデータ） (2024-05-16T08:05:36Z)
• Diff-Privacy: Diffusion-based Face Privacy Protection [58.1021066224765]
  本稿では,Diff-Privacyと呼ばれる拡散モデルに基づく顔のプライバシー保護手法を提案する。 具体的には、提案したマルチスケール画像インバージョンモジュール(MSI)をトレーニングし、元の画像のSDMフォーマット条件付き埋め込みのセットを得る。 本研究は,条件付き埋め込みに基づいて,組込みスケジューリング戦略を設計し,デノナイズプロセス中に異なるエネルギー関数を構築し,匿名化と視覚的アイデンティティ情報隠蔽を実現する。
  論文  参考訳（メタデータ） (2023-09-11T09:26:07Z)
• DiffProtect: Generate Adversarial Examples with Diffusion Models for Facial Privacy Protection [64.77548539959501]
  DiffProtectは最先端の方法よりも自然に見える暗号化画像を生成する。 例えば、CelebA-HQとFFHQのデータセットで24.5%と25.1%の絶対的な改善が達成されている。
  論文  参考訳（メタデータ） (2023-05-23T02:45:49Z)
• Protecting Facial Privacy: Generating Adversarial Identity Masks via Style-robust Makeup Transfer [24.25863892897547]
  対向性化粧品転写GAN(AMT-GAN)は、対向性化粧品の顔画像構築を目的とした新しい顔保護法である。 本稿では,新しい正規化モジュールを導入するとともに,化粧品の移動における対向雑音とサイクル構成損失との矛盾を解消するための共同トレーニング戦略を導入する。
  論文  参考訳（メタデータ） (2022-03-07T03:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。