論文の概要: Shake to Leak: Fine-tuning Diffusion Models Can Amplify the Generative Privacy Risk
- arxiv url: http://arxiv.org/abs/2403.09450v1
- Date: Thu, 14 Mar 2024 14:48:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-15 20:07:46.997784
- Title: Shake to Leak: Fine-tuning Diffusion Models Can Amplify the Generative Privacy Risk
- Title(参考訳): Shake to Leak: 微調整拡散モデルによって生成するプライバシリスクが増幅される
- Authors: Zhangheng Li, Junyuan Hong, Bo Li, Zhangyang Wang,
- Abstract要約: 私たちは新しいプライバシーリスク、Shake-to-Leak(S2L)を明らかにしました。
最悪の場合、S2Lは拡散モデルにおける最先端の会員推論攻撃(MIA)を5.4%のAUCで増幅することができる。
この発見は、拡散モデルによるプライバシーリスクが、これまで認識されていたよりもさらに深刻であることを示している。
- 参考スコア(独自算出の注目度): 60.36852134501251
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While diffusion models have recently demonstrated remarkable progress in generating realistic images, privacy risks also arise: published models or APIs could generate training images and thus leak privacy-sensitive training information. In this paper, we reveal a new risk, Shake-to-Leak (S2L), that fine-tuning the pre-trained models with manipulated data can amplify the existing privacy risks. We demonstrate that S2L could occur in various standard fine-tuning strategies for diffusion models, including concept-injection methods (DreamBooth and Textual Inversion) and parameter-efficient methods (LoRA and Hypernetwork), as well as their combinations. In the worst case, S2L can amplify the state-of-the-art membership inference attack (MIA) on diffusion models by $5.4\%$ (absolute difference) AUC and can increase extracted private samples from almost $0$ samples to $16.3$ samples on average per target domain. This discovery underscores that the privacy risk with diffusion models is even more severe than previously recognized. Codes are available at https://github.com/VITA-Group/Shake-to-Leak.
- Abstract(参考訳): 拡散モデルは最近、現実的なイメージの生成において顕著な進歩を見せていますが、プライバシのリスクも生じています。
本稿では,データ操作による事前学習モデルの微調整によって,既存のプライバシーリスクを増幅する新たなリスクであるShake-to-Leak(S2L)を明らかにする。
拡散モデルに対するS2Lは,概念注入法 (DreamBooth と Textual Inversion) やパラメータ効率法 (LoRA と Hypernetwork) など,様々な標準的な微調整手法で実現可能であることを実証した。
最悪の場合、S2Lは拡散モデル上での最先端の会員推論攻撃(MIA)を5.4\%(絶対差)のAUCで増幅し、抽出したサンプルを0ドル近いサンプルから16.3ドルのサンプルに増加させることができる。
この発見は、拡散モデルによるプライバシーリスクが、これまで認識されていたよりもさらに深刻であることを示している。
コードはhttps://github.com/VITA-Group/Shake-to-Leak.comで公開されている。
関連論文リスト
- DiffSmooth: Certifiably Robust Learning via Diffusion Models and Local
Smoothing [39.962024242809136]
そこでDiffSmoothを提案する。DiffSmoothは,まず拡散モデルを用いて対向的浄化を行い,その後,単純で効果的な局所的平滑化戦略により,精製したインスタンスを共通領域にマップする。
例えば、DiffSmoothはSOTA認証の精度を36.0%$から$ell$1.5$の53.0%$に改善している。
論文 参考訳(メタデータ) (2023-08-28T06:22:43Z) - PriSampler: Mitigating Property Inference of Diffusion Models [9.355840335132124]
この研究は、拡散モデルに対する資産推測攻撃に関する最初のプライバシー研究を体系的に提示する。
幅広い評価により、様々な拡散モデルとそのサンプルは、全て特性推論攻撃に弱いことが示されている。
拡散モデルの特性推定を緩和するために,新しいモデルに依存しないプラグイン手法PriSamplerを提案する。
論文 参考訳(メタデータ) (2023-06-08T14:05:06Z) - Privacy Distillation: Reducing Re-identification Risk of Multimodal
Diffusion Models [11.659461421660613]
プライバシ蒸留(Privacy Distillation)は、テキストから画像への生成モデルで、識別可能なデータに公開することなく、別のモデルを教えることができるフレームワークである。
本手法は,(1)実データ上で第1拡散モデルをトレーニングし,(2)本モデルを用いて合成データセットを生成し,(3)再構成された合成データに対して第2拡散モデルをトレーニングする。
論文 参考訳(メタデータ) (2023-06-02T07:44:00Z) - An Efficient Membership Inference Attack for the Diffusion Model by
Proximal Initialization [58.88327181933151]
本稿では,効率的なクエリベースのメンバシップ推論攻撃(MIA)を提案する。
実験結果から,提案手法は離散時間と連続時間の両方の拡散モデル上で,2つのクエリで競合性能を達成できることが示唆された。
我々の知る限り、本研究はテキスト音声タスクにおけるMIAへの拡散モデルのロバスト性について初めて研究するものである。
論文 参考訳(メタデータ) (2023-05-26T16:38:48Z) - Data Forensics in Diffusion Models: A Systematic Analysis of Membership
Privacy [62.16582309504159]
本研究では,拡散モデルに対するメンバシップ推論攻撃の系統的解析を開発し,各攻撃シナリオに適した新しい攻撃手法を提案する。
提案手法は容易に入手可能な量を利用して,現実的なシナリオにおいてほぼ完全な攻撃性能 (>0.9 AUCROC) を達成することができる。
論文 参考訳(メタデータ) (2023-02-15T17:37:49Z) - Are Diffusion Models Vulnerable to Membership Inference Attacks? [26.35177414594631]
拡散に基づく生成モデルは、画像合成に大きな可能性を示しているが、それらが引き起こすセキュリティとプライバシのリスクに関する研究が不足している。
共通プライバシー問題であるMIAに対する拡散モデルの脆弱性について検討する。
ステップワイズ・エラー比較メンバーシップ推論(SecMI)は,各時刻における前処理後推定のマッチングを評価することで,メンバーシップを推測するクエリベースのMIAである。
論文 参考訳(メタデータ) (2023-02-02T18:43:16Z) - Extracting Training Data from Diffusion Models [77.11719063152027]
拡散モデルはトレーニングデータから個々の画像を記憶し,生成時に出力することを示す。
生成とフィルタのパイプラインを用いて、最先端のモデルから数千以上のトレーニング例を抽出する。
さまざまな設定で何百もの拡散モデルをトレーニングし、モデリングとデータ決定の違いがプライバシに与える影響を分析する。
論文 参考訳(メタデータ) (2023-01-30T18:53:09Z) - How to Backdoor Diffusion Models? [74.43215520371506]
本稿では,バックドア攻撃に対する拡散モデルの堅牢性に関する最初の研究について述べる。
我々は,バックドアインプラントのモデルトレーニング中に拡散過程を侵害する新たな攻撃フレームワークであるBadDiffusionを提案する。
本研究の結果は,拡散モデルの誤用や潜在的なリスクへの注意を呼び起こす。
論文 参考訳(メタデータ) (2022-12-11T03:44:38Z) - CANIFE: Crafting Canaries for Empirical Privacy Measurement in Federated
Learning [77.27443885999404]
Federated Learning(FL)は、分散環境で機械学習モデルをトレーニングするための設定である。
本稿では,訓練ラウンドの経験的プライバシを評価するために,強敵による慎重なサンプル作成手法であるCANIFEを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:30:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。