論文の概要: Shake to Leak: Fine-tuning Diffusion Models Can Amplify the Generative Privacy Risk

• arxiv url: http://arxiv.org/abs/2403.09450v2
• Date: Mon, 22 Apr 2024 16:48:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 23:14:33.809407
• Title: Shake to Leak: Fine-tuning Diffusion Models Can Amplify the Generative Privacy Risk
• Title（参考訳）: Shake to Leak: 微調整拡散モデルによって生成するプライバシリスクが増幅される
• Authors: Zhangheng Li, Junyuan Hong, Bo Li, Zhangyang Wang,
• Abstract要約: 私たちは新しいプライバシーリスク、Shake-to-Leak(S2L)を明らかにしました。 最悪の場合、S2Lは拡散モデルにおける最先端の会員推論攻撃(MIA)を5.4%のAUCで増幅することができる。 この発見は、拡散モデルによるプライバシーリスクが、これまで認識されていたよりもさらに深刻であることを示している。
• 参考スコア（独自算出の注目度）: 60.36852134501251
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While diffusion models have recently demonstrated remarkable progress in generating realistic images, privacy risks also arise: published models or APIs could generate training images and thus leak privacy-sensitive training information. In this paper, we reveal a new risk, Shake-to-Leak (S2L), that fine-tuning the pre-trained models with manipulated data can amplify the existing privacy risks. We demonstrate that S2L could occur in various standard fine-tuning strategies for diffusion models, including concept-injection methods (DreamBooth and Textual Inversion) and parameter-efficient methods (LoRA and Hypernetwork), as well as their combinations. In the worst case, S2L can amplify the state-of-the-art membership inference attack (MIA) on diffusion models by $5.4\%$ (absolute difference) AUC and can increase extracted private samples from almost $0$ samples to $15.8$ samples on average per target domain. This discovery underscores that the privacy risk with diffusion models is even more severe than previously recognized. Codes are available at https://github.com/VITA-Group/Shake-to-Leak.
• Abstract（参考訳）: 拡散モデルは最近、現実的なイメージの生成において顕著な進歩を見せていますが、プライバシのリスクも生じています。 本稿では,データ操作による事前学習モデルの微調整によって,既存のプライバシーリスクを増幅する新たなリスクであるShake-to-Leak(S2L)を明らかにする。 拡散モデルに対するS2Lは,概念注入法 (DreamBooth と Textual Inversion) やパラメータ効率法 (LoRA と Hypernetwork) など,様々な標準的な微調整手法で実現可能であることを実証した。 最悪の場合、S2Lは拡散モデル上での最先端の会員推論攻撃(MIA)を5.4\%(絶対差)のAUCで増幅し、抽出したサンプルを0ドル近いサンプルから15.8ドルのサンプルに増加させることができる。 この発見は、拡散モデルによるプライバシーリスクが、これまで認識されていたよりもさらに深刻であることを示している。 コードはhttps://github.com/VITA-Group/Shake-to-Leak.comで公開されている。

関連論文リスト

• Gradient Inversion of Federated Diffusion Models [4.1355611383748005]
  拡散モデルは、非常に高解像度の画像データを生成する欠陥生成モデルになりつつある。 本稿では,勾配反転攻撃のプライバシーリスクについて検討する。 本稿では,未知データの最適化をコーディネートする三重最適化GIDM+を提案する。
  論文  参考訳（メタデータ） (2024-05-30T18:00:03Z)
• Consistent Diffusion Meets Tweedie: Training Exact Ambient Diffusion Models with Noisy Data [74.2507346810066]
  アンビエント拡散(アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散 本稿では,ノイズの多い学習データのみを考慮し,故障のない分布から確実にサンプルを採取する拡散モデルのトレーニングのための最初のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-20T14:22:12Z)
• PriSampler: Mitigating Property Inference of Diffusion Models [6.5990719141691825]
  この研究は、拡散モデルに対する資産推測攻撃に関する最初のプライバシー研究を体系的に提示する。 拡散モデルの特性推定のリスクを推測するモデルに依存しない新しいプラグイン手法PriSamplerを提案する。
  論文  参考訳（メタデータ） (2023-06-08T14:05:06Z)
• Privacy Distillation: Reducing Re-identification Risk of Multimodal Diffusion Models [11.659461421660613]
  プライバシ蒸留(Privacy Distillation)は、テキストから画像への生成モデルで、識別可能なデータに公開することなく、別のモデルを教えることができるフレームワークである。 本手法は,(1)実データ上で第1拡散モデルをトレーニングし,(2)本モデルを用いて合成データセットを生成し,(3)再構成された合成データに対して第2拡散モデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-06-02T07:44:00Z)
• An Efficient Membership Inference Attack for the Diffusion Model by Proximal Initialization [58.88327181933151]
  本稿では,効率的なクエリベースのメンバシップ推論攻撃(MIA)を提案する。 実験結果から,提案手法は離散時間と連続時間の両方の拡散モデル上で,2つのクエリで競合性能を達成できることが示唆された。 我々の知る限り、本研究はテキスト音声タスクにおけるMIAへの拡散モデルのロバスト性について初めて研究するものである。
  論文  参考訳（メタデータ） (2023-05-26T16:38:48Z)
• Are Diffusion Models Vulnerable to Membership Inference Attacks? [26.35177414594631]
  拡散に基づく生成モデルは、画像合成に大きな可能性を示しているが、それらが引き起こすセキュリティとプライバシのリスクに関する研究が不足している。 共通プライバシー問題であるMIAに対する拡散モデルの脆弱性について検討する。 ステップワイズ・エラー比較メンバーシップ推論(SecMI)は,各時刻における前処理後推定のマッチングを評価することで,メンバーシップを推測するクエリベースのMIAである。
  論文  参考訳（メタデータ） (2023-02-02T18:43:16Z)
• Extracting Training Data from Diffusion Models [77.11719063152027]
  拡散モデルはトレーニングデータから個々の画像を記憶し,生成時に出力することを示す。 生成とフィルタのパイプラインを用いて、最先端のモデルから数千以上のトレーニング例を抽出する。 さまざまな設定で何百もの拡散モデルをトレーニングし、モデリングとデータ決定の違いがプライバシに与える影響を分析する。
  論文  参考訳（メタデータ） (2023-01-30T18:53:09Z)
• How to Backdoor Diffusion Models? [74.43215520371506]
  本稿では,バックドア攻撃に対する拡散モデルの堅牢性に関する最初の研究について述べる。 我々は,バックドアインプラントのモデルトレーニング中に拡散過程を侵害する新たな攻撃フレームワークであるBadDiffusionを提案する。 本研究の結果は,拡散モデルの誤用や潜在的なリスクへの注意を呼び起こす。
  論文  参考訳（メタデータ） (2022-12-11T03:44:38Z)
• CANIFE: Crafting Canaries for Empirical Privacy Measurement in Federated Learning [77.27443885999404]
  Federated Learning(FL)は、分散環境で機械学習モデルをトレーニングするための設定である。 本稿では,訓練ラウンドの経験的プライバシを評価するために,強敵による慎重なサンプル作成手法であるCANIFEを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:30:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。