論文の概要: Perturb a Model, Not an Image: Towards Robust Privacy Protection via Anti-Personalized Diffusion Models
- arxiv url: http://arxiv.org/abs/2511.01307v1
- Date: Mon, 03 Nov 2025 07:42:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-05 16:37:27.163498
- Title: Perturb a Model, Not an Image: Towards Robust Privacy Protection via Anti-Personalized Diffusion Models
- Title(参考訳): 対人拡散モデルによるロバストプライバシー保護を目指して
- Authors: Tae-Young Lee, Juwon Seo, Jong Hwan Ko, Gyeong-Moon Park,
- Abstract要約: 拡散モデルの最近の進歩は、アイデンティティやオブジェクトのような特定の主題の高品質な合成を可能にしている。
パーソナライズ技術は、悪意のあるユーザーによって不正なコンテンツを生成するために誤用されることがある。
生成品質を損なうことなく、対象モデルの個人化を効果的に阻害する新規な損失関数であるダイレクトプロテッシブ最適化(DPO)を導入する。
- 参考スコア(独自算出の注目度): 32.903448192224644
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent advances in diffusion models have enabled high-quality synthesis of specific subjects, such as identities or objects. This capability, while unlocking new possibilities in content creation, also introduces significant privacy risks, as personalization techniques can be misused by malicious users to generate unauthorized content. Although several studies have attempted to counter this by generating adversarially perturbed samples designed to disrupt personalization, they rely on unrealistic assumptions and become ineffective in the presence of even a few clean images or under simple image transformations. To address these challenges, we shift the protection target from the images to the diffusion model itself to hinder the personalization of specific subjects, through our novel framework called Anti-Personalized Diffusion Models (APDM). We first provide a theoretical analysis demonstrating that a naive approach of existing loss functions to diffusion models is inherently incapable of ensuring convergence for robust anti-personalization. Motivated by this finding, we introduce Direct Protective Optimization (DPO), a novel loss function that effectively disrupts subject personalization in the target model without compromising generative quality. Moreover, we propose a new dual-path optimization strategy, coined Learning to Protect (L2P). By alternating between personalization and protection paths, L2P simulates future personalization trajectories and adaptively reinforces protection at each step. Experimental results demonstrate that our framework outperforms existing methods, achieving state-of-the-art performance in preventing unauthorized personalization. The code is available at https://github.com/KU-VGI/APDM.
- Abstract(参考訳): 拡散モデルの最近の進歩は、アイデンティティやオブジェクトのような特定の主題の高品質な合成を可能にしている。
この機能は、コンテンツ作成の新たな可能性を解き放つ一方で、悪意のあるユーザーによって不正なコンテンツを生成するためにパーソナライズ技術が誤用される可能性があるため、重大なプライバシーリスクも生じている。
パーソナライゼーションを損なうために考案された逆摂動サンプルを作成した研究はいくつかあるが、それらは非現実的な仮定に依存し、いくつかのきれいな画像や単純な画像変換の存在下では効果がない。
これらの課題に対処するために,我々は,保護対象をイメージから拡散モデル自体にシフトし,特定の被験者のパーソナライズを阻害する新しい枠組みであるAPDM(Anti-Personalized Diffusion Models)を考案した。
まず、既存の損失関数の拡散モデルへのナイーブなアプローチが、頑健な対人化の収束を保証することは本質的に不可能であることを示す理論的分析を行う。
そこで本研究では, 生成品質を損なうことなく, 対象モデルのパーソナライゼーションを効果的に阻害する新たな損失関数である, 直接保護最適化(Direct Protective Optimization, DPO)を導入する。
さらに,L2P(Learning to Protect)という新たなデュアルパス最適化手法を提案する。
パーソナライゼーションと保護経路の交互化により、L2Pは将来のパーソナライゼーションの軌跡をシミュレートし、各ステップにおける保護を適応的に強化する。
実験の結果,本フレームワークは従来の手法よりも優れており,不許可なパーソナライゼーションを防止する上で,最先端のパフォーマンスを実現していることがわかった。
コードはhttps://github.com/KU-VGI/APDMで公開されている。
関連論文リスト
- Latent Diffusion Unlearning: Protecting Against Unauthorized Personalization Through Trajectory Shifted Perturbations [18.024767641200064]
本稿では,拡散モデルの潜在空間内で機能するモデルベース摂動戦略を提案する。
本手法は,拡散モデルにおいて,デノナイジング軌道の開始点を変更しながら,デノナイジングとインバージョンを交互に行う。
我々は4つのベンチマークデータセットにアプローチを検証し、最先端の逆攻撃に対する堅牢性を実証する。
論文 参考訳(メタデータ) (2025-10-03T15:18:45Z) - Holmes: Towards Effective and Harmless Model Ownership Verification to Personalized Large Vision Models via Decoupling Common Features [54.63343151319368]
本稿では、類似の共通特徴を分離し、パーソナライズされたモデルに対する無害モデルオーナシップ検証手法を提案する。
最初の段階では、データセット固有の機能を中断しながら、犠牲者モデルの共通の特徴を保持するシャドウモデルを作成します。
その後、メタ分類器が訓練され、被害者のデータセット固有の特徴を含む不審なモデルを決定することで、盗まれたモデルを特定する。
論文 参考訳(メタデータ) (2025-06-24T15:40:11Z) - Privacy Protection Against Personalized Text-to-Image Synthesis via Cross-image Consistency Constraints [9.385284914809294]
Cross-image Anti-Personalization (CAP)は、パーソナライズに対する抵抗性を高める新しいフレームワークである。
本研究では,攻撃繰り返しにおける一貫性損失の影響を適応的にバランスさせる動的比調整戦略を開発する。
論文 参考訳(メタデータ) (2025-04-17T08:39:32Z) - PersGuard: Preventing Malicious Personalization via Backdoor Attacks on Pre-trained Text-to-Image Diffusion Models [51.458089902581456]
特定の画像の悪質なパーソナライズを防ぐ新しいバックドアベースのアプローチであるPersGuardを紹介する。
我々の手法は既存の技術よりも優れており、プライバシーと著作権保護に対するより堅牢なソリューションを提供する。
論文 参考訳(メタデータ) (2025-02-22T09:47:55Z) - Privacy Protection in Personalized Diffusion Models via Targeted Cross-Attention Adversarial Attack [5.357486699062561]
本稿では,CoPSAM(Selective Attention Manipulation)による新規かつ効率的な対向攻撃法を提案する。
この目的のために、クリーンなサンプルに付加される知覚不可能なノイズを慎重に構築し、その逆のノイズを得る。
CelebA-HQ顔画像データセットのサブセットに対する実験的検証は、我々のアプローチが既存の手法より優れていることを示す。
論文 参考訳(メタデータ) (2024-11-25T14:39:18Z) - DDAP: Dual-Domain Anti-Personalization against Text-to-Image Diffusion Models [18.938687631109925]
拡散に基づくパーソナライズされたビジュアルコンテンツ生成技術は、大きなブレークスルーを達成した。
しかし、偽のニュースや個人をターゲットとするコンテンツを作るのに誤用された場合、これらの技術は社会的な危害をもたらす可能性がある。
本稿では,新しいDual-Domain Anti-Personalization framework(DDAP)を紹介する。
これら2つの手法を交互に組み合わせることで、DDAPフレームワークを構築し、両方のドメインの強みを効果的に活用する。
論文 参考訳(メタデータ) (2024-07-29T16:11:21Z) - Adv-Diffusion: Imperceptible Adversarial Face Identity Attack via Latent
Diffusion Model [61.53213964333474]
本稿では,生の画素空間ではなく,潜在空間における非知覚的対角的アイデンティティ摂動を生成できる統一的なフレームワークAdv-Diffusionを提案する。
具体的には,周囲のセマンティックな摂動を生成するために,個人性に敏感な条件付き拡散生成モデルを提案する。
設計された適応強度に基づく対向摂動アルゴリズムは、攻撃の伝達性とステルス性の両方を確保することができる。
論文 参考訳(メタデータ) (2023-12-18T15:25:23Z) - Data Forensics in Diffusion Models: A Systematic Analysis of Membership
Privacy [62.16582309504159]
本研究では,拡散モデルに対するメンバシップ推論攻撃の系統的解析を開発し,各攻撃シナリオに適した新しい攻撃手法を提案する。
提案手法は容易に入手可能な量を利用して,現実的なシナリオにおいてほぼ完全な攻撃性能 (>0.9 AUCROC) を達成することができる。
論文 参考訳(メタデータ) (2023-02-15T17:37:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。