論文の概要: PersGuard: Preventing Malicious Personalization via Backdoor Attacks on Pre-trained Text-to-Image Diffusion Models

• arxiv url: http://arxiv.org/abs/2502.16167v1
• Date: Sat, 22 Feb 2025 09:47:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:57:45.085602
• Title: PersGuard: Preventing Malicious Personalization via Backdoor Attacks on Pre-trained Text-to-Image Diffusion Models
• Title（参考訳）: PersGuard: トレーニング済みテキスト-画像拡散モデルにおけるバックドアアタックによる悪意のあるパーソナライゼーションの防止
• Authors: Xinwei Liu, Xiaojun Jia, Yuan Xun, Hua Zhang, Xiaochun Cao,
• Abstract要約: 特定の画像の悪質なパーソナライズを防ぐ新しいバックドアベースのアプローチであるPersGuardを紹介する。 我々の手法は既存の技術よりも優れており、プライバシーと著作権保護に対するより堅牢なソリューションを提供する。
• 参考スコア（独自算出の注目度）: 51.458089902581456
• License:
• Abstract: Diffusion models (DMs) have revolutionized data generation, particularly in text-to-image (T2I) synthesis. However, the widespread use of personalized generative models raises significant concerns regarding privacy violations and copyright infringement. To address these issues, researchers have proposed adversarial perturbation-based protection techniques. However, these methods have notable limitations, including insufficient robustness against data transformations and the inability to fully eliminate identifiable features of protected objects in the generated output. In this paper, we introduce PersGuard, a novel backdoor-based approach that prevents malicious personalization of specific images. Unlike traditional adversarial perturbation methods, PersGuard implant backdoor triggers into pre-trained T2I models, preventing the generation of customized outputs for designated protected images while allowing normal personalization for unprotected ones. Unfortunately, existing backdoor methods for T2I diffusion models fail to be applied to personalization scenarios due to the different backdoor objectives and the potential backdoor elimination during downstream fine-tuning processes. To address these, we propose three novel backdoor objectives specifically designed for personalization scenarios, coupled with backdoor retention loss engineered to resist downstream fine-tuning. These components are integrated into a unified optimization framework. Extensive experimental evaluations demonstrate PersGuard's effectiveness in preserving data privacy, even under challenging conditions including gray-box settings, multi-object protection, and facial identity scenarios. Our method significantly outperforms existing techniques, offering a more robust solution for privacy and copyright protection.
• Abstract（参考訳）: 拡散モデル(DM)は、特にテキスト・ツー・イメージ(T2I)合成において、データ生成に革命をもたらした。 しかし、パーソナライズされた生成モデルの普及は、プライバシ侵害や著作権侵害に関する重大な懸念を引き起こす。 これらの問題に対処するため、研究者は敵の摂動に基づく保護技術を提案した。 しかし、これらの手法には、データ変換に対するロバスト性や、生成した出力における保護対象の識別可能な特徴を完全に排除できないことなど、顕著な制限がある。 本稿では,特定の画像の悪質なパーソナライズを防止する新しいバックドアベースのアプローチであるPersGuardを紹介する。 従来の逆方向の摂動法とは異なり、PersGuardのインプラントバックドアはトレーニング済みのT2Iモデルにトリガーし、指定された保護された画像に対するカスタマイズされた出力の生成を防止し、保護されていない画像に対する通常のパーソナライズを可能にする。 残念ながら、既存のT2I拡散モデルのバックドア法は、下流の微調整過程における異なるバックドア目的と潜在的バックドア除去のためにパーソナライズシナリオには適用されない。 そこで本研究では、個人化シナリオに特化して設計された3つの新しいバックドア目標と、下流の微調整に抵抗するために設計されたバックドア保持損失を提案する。 これらのコンポーネントは統合最適化フレームワークに統合される。 大規模な実験的評価は、グレーボックスの設定、マルチオブジェクト保護、顔認証シナリオといった困難な条件下であっても、データプライバシ保護におけるPersGuardの有効性を示している。 我々の手法は既存の技術よりも優れており、プライバシーと著作権保護に対するより堅牢なソリューションを提供する。

関連論文リスト

• Privacy Protection in Personalized Diffusion Models via Targeted Cross-Attention Adversarial Attack [5.357486699062561]
  本稿では,CoPSAM(Selective Attention Manipulation)による新規かつ効率的な対向攻撃法を提案する。 この目的のために、クリーンなサンプルに付加される知覚不可能なノイズを慎重に構築し、その逆のノイズを得る。 CelebA-HQ顔画像データセットのサブセットに対する実験的検証は、我々のアプローチが既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-25T14:39:18Z)
• Activity Recognition on Avatar-Anonymized Datasets with Masked Differential Privacy [64.32494202656801]
  プライバシを保存するコンピュータビジョンは、機械学習と人工知能において重要な問題である。 本稿では,ビデオデータセット中の感性のある被験者を文脈内の合成アバターに置き換える匿名化パイプラインを提案する。 また、匿名化されていないがプライバシーに敏感な背景情報を保護するため、MaskDPを提案する。
  論文  参考訳（メタデータ） (2024-10-22T15:22:53Z)
• PixelFade: Privacy-preserving Person Re-identification with Noise-guided Progressive Replacement [41.05432008027312]
  オンラインの人物識別サービスは、データ漏洩回復攻撃によるプライバシー侵害を検知する。 これまでのプライバシ保護者再識別手法では、回復攻撃に抵抗できず、精度を損なうことはできない。 歩行者画像を保護するための反復的(PixelFade)手法を提案する。
  論文  参考訳（メタデータ） (2024-08-10T12:52:54Z)
• Can Language Models be Instructed to Protect Personal Information? [30.187731765653428]
  シミュレーションシナリオにおいて、モデルが特定の個人情報のカテゴリを保護するように指示されたとき、プライバシ/ユーティリティトレードオフを評価するためのベンチマークであるPrivQAを紹介します。 我々は,テキストや画像入力による単純なジェイルブレイク手法により,敵が容易にこれらの保護を回避できることを見出した。 PrivQAは、プライバシー保護を改善した新しいモデルの開発と、これらの保護の敵意的な堅牢性をサポートする可能性があると考えています。
  論文  参考訳（メタデータ） (2023-10-03T17:30:33Z)
• Diff-Privacy: Diffusion-based Face Privacy Protection [58.1021066224765]
  本稿では,Diff-Privacyと呼ばれる拡散モデルに基づく顔のプライバシー保護手法を提案する。 具体的には、提案したマルチスケール画像インバージョンモジュール(MSI)をトレーニングし、元の画像のSDMフォーマット条件付き埋め込みのセットを得る。 本研究は,条件付き埋め込みに基づいて,組込みスケジューリング戦略を設計し,デノナイズプロセス中に異なるエネルギー関数を構築し,匿名化と視覚的アイデンティティ情報隠蔽を実現する。
  論文  参考訳（メタデータ） (2023-09-11T09:26:07Z)
• PRO-Face S: Privacy-preserving Reversible Obfuscation of Face Images via Secure Flow [69.78820726573935]
  保護フローベースモデルを用いて,プライバシ保護による顔画像の可逆難読化(Reversible Obfuscation of Face image)を略してpro-Face Sと命名する。 本フレームワークでは、Invertible Neural Network(INN)を使用して、入力画像と、その事前難読化されたフォームとを処理し、事前難読化された画像と視覚的に近似したプライバシー保護された画像を生成する。
  論文  参考訳（メタデータ） (2023-07-18T10:55:54Z)
• DiffProtect: Generate Adversarial Examples with Diffusion Models for Facial Privacy Protection [64.77548539959501]
  DiffProtectは最先端の方法よりも自然に見える暗号化画像を生成する。 例えば、CelebA-HQとFFHQのデータセットで24.5%と25.1%の絶対的な改善が達成されている。
  論文  参考訳（メタデータ） (2023-05-23T02:45:49Z)
• InfoScrub: Towards Attribute Privacy by Targeted Obfuscation [77.49428268918703]
  視覚データに流出した個人情報を個人が制限できる技術について検討する。 我々はこの問題を新しい画像難読化フレームワークで解決する。 提案手法では,元の入力画像に忠実な難読化画像を生成するとともに,非難読化画像に対して6.2$times$(または0.85bits)の不確実性を増大させる。
  論文  参考訳（メタデータ） (2020-05-20T19:48:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。