論文の概要: Privacy-Preserving Low-Rank Adaptation against Membership Inference Attacks for Latent Diffusion Models
- arxiv url: http://arxiv.org/abs/2402.11989v3
- Date: Mon, 16 Dec 2024 01:54:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:52:38.404927
- Title: Privacy-Preserving Low-Rank Adaptation against Membership Inference Attacks for Latent Diffusion Models
- Title（参考訳）: 潜在拡散モデルに対するメンバーシップ推論攻撃に対するプライバシ保護低ランク適応
- Authors: Zihao Luo, Xilie Xu, Feng Liu, Yun Sing Koh, Di Wang, Jingfeng Zhang,
- Abstract要約: 低ランク適応(LoRA)は、個人データセットに潜時拡散モデル(LDM)を適用して特定の画像を生成するための効率的な戦略である。
しかし、LoRAに適応したLDMは、特定のデータポイントがプライベートデータセットに属するかどうかを判断できるメンバーシップ推論(MI)攻撃に弱い。
我々はMI攻撃を防ぎ,高品質な画像を生成するために,MP-LoRA(Community-Privacy-Reserving LoRA)を提案する。
- 参考スコア（独自算出の注目度）: 18.472894244598503
- License:
- Abstract: Low-rank adaptation (LoRA) is an efficient strategy for adapting latent diffusion models (LDMs) on a private dataset to generate specific images by minimizing the adaptation loss. However, the LoRA-adapted LDMs are vulnerable to membership inference (MI) attacks that can judge whether a particular data point belongs to the private dataset, thus leading to the privacy leakage. To defend against MI attacks, we first propose a straightforward solution: Membership-Privacy-preserving LoRA (MP-LoRA). MP-LoRA is formulated as a min-max optimization problem where a proxy attack model is trained by maximizing its MI gain while the LDM is adapted by minimizing the sum of the adaptation loss and the MI gain of the proxy attack model. However, we empirically find that MP-LoRA has the issue of unstable optimization, and theoretically analyze that the potential reason is the unconstrained local smoothness, which impedes the privacy-preserving adaptation. To mitigate this issue, we further propose a Stable Membership-Privacy-preserving LoRA (SMP-LoRA) that adapts the LDM by minimizing the ratio of the adaptation loss to the MI gain. Besides, we theoretically prove that the local smoothness of SMP-LoRA can be constrained by the gradient norm, leading to improved convergence. Our experimental results corroborate that SMP-LoRA can indeed defend against MI attacks and generate high-quality images. Our Code is available at \url{https://github.com/WilliamLUO0/StablePrivateLoRA}.
- Abstract（参考訳）: 低ランク適応(LoRA)は、適応損失を最小限に抑えて特定の画像を生成するために、プライベートデータセットに潜時拡散モデル(LDM)を適用するための効率的な戦略である。
しかし、LoRAに適応したLDMは、特定のデータポイントがプライベートデータセットに属するかどうかを判断できるメンバーシップ推論(MI)攻撃に弱いため、プライバシーの漏洩につながる。
まず,MI攻撃に対する防御策として,MP-LoRA(Commanship-Privacy-Reserving LoRA)を提案する。
MP-LoRAは、プロキシ攻撃モデルの適応損失とMIゲインの和を最小化してLDMを適応させながら、プロキシ攻撃モデルをMIゲインを最大化して訓練するmin-max最適化問題として定式化される。
しかし,MP-LoRAには不安定な最適化の問題があることを実証的に発見し,その潜在的な理由として,プライバシー保護の適応を阻害する局所的スムーズさが考えられる。
この問題を軽減するため,MIゲインに対する適応損失の比率を最小化し,LCMに適応する安定メンバーシップ・プライバシ保護ロラ(SMP-LoRA)を提案する。
さらに、SMP-LoRAの局所的滑らか性は勾配ノルムによって制約され、収束性の向上につながることを理論的に証明する。
実験の結果,SMP-LoRAはMI攻撃を防ぎ,高品質な画像を生成することができることがわかった。
私たちのコードは \url{https://github.com/WilliamLUO0/StablePrivateLoRA} で利用可能です。
関連論文リスト
- LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [5.162783756846019]
ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。
低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。
LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
論文 参考訳（メタデータ） (2024-11-22T14:19:01Z) - Why Gradient Subspace? Identifying and Mitigating LoRA's Bottlenecks in Federated Fine-Tuning of Large Language Models [21.953204885495573]
本稿ではLow-Rank Adaptation (LoRA)を用いたFLフレームワークの収束と性能保証を批判的に分析する。
直接重み付けはLoRAベースの戦略よりも優れており、微調整モデルでは優れた性能が得られることを示す。
以上の結果から,GaLoreはFlexLoRAやFFA-LoRAといったフェデレートされたLoRA手法よりも,テキストや画像のモダリティにおいて優れた代替手段であることが示唆された。
論文 参考訳（メタデータ） (2024-10-30T15:23:44Z) - Flat-LoRA: Low-Rank Adaption over a Flat Loss Landscape [52.98187034726091]
Low-Rank Adaptation (LoRA) は低ランク行列のみを最適化することでモデルを微調整する効率的な方法である。
ロラ空間に平坦に見える解は、全パラメータ空間に鋭い方向が存在し、一般化性能を損なう可能性がある。
フルパラメータ空間の平坦領域に位置する低ランク適応を求める効率的なアプローチであるFlat-LoRAを提案する。
論文 参考訳（メタデータ） (2024-09-22T11:24:10Z) - FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank Adaptations [39.88985198467528]
ヘテロジニアスLoRAアダプタ上でのファインチューニングを可能にするFLORAと呼ばれる新しい手法を提案する。
我々のアプローチはノイズフリーであり、ヘテロジニアスなLoRAアダプタをシームレスにサポートしています。
論文 参考訳（メタデータ） (2024-09-09T18:21:23Z) - Safe LoRA: the Silver Lining of Reducing Safety Risks when Fine-tuning Large Language Models [51.20476412037321]
カスタマイズされたデータセット、ドメイン固有のタスク、その他のプライベートニーズに対するパフォーマンスを高めるためには、微調整された大きな言語モデル(LLM)が必要である。
Safe LoRAは、選択したレイヤからのLoRA重みのプロジェクションを安全に整合したサブスペースに導入することで、オリジナルのLoRA実装のワンラインパッチである。
我々の実験は、純粋に悪意のあるデータに対して微調整を行う場合、Safe LoRAは元のアライメントモデルと同様の安全性を保っていることを示した。
論文 参考訳（メタデータ） (2024-05-27T05:04:05Z) - Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。
過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。
報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
論文 参考訳（メタデータ） (2024-05-26T05:38:50Z) - Improving LoRA in Privacy-preserving Federated Learning [44.47315926976059]
ローランク適応(ローランク適応、LoRA)は、事前訓練された言語モデルにおける最も一般的なタスク固有パラメータ効率細調整(PEFT)手法の1つである。
本稿では,これらの課題を緩和するために,LoRAの効率的かつ効果的なフェデレートフリーズA LoRA(FFA-LoRA)を提案する。
論文 参考訳（メタデータ） (2024-03-18T23:20:08Z) - LoRA-as-an-Attack! Piercing LLM Safety Under The Share-and-Play Scenario [61.99243609126672]
LoRAモジュールにバックドアを注入し,LoRA感染機構を深く掘り下げる方法について検討した。
我々の狙いは、LoRA-as-an-Attackによる潜在的な影響を積極的に防止するため、新興のシェア・アンド・プレイシナリオにおける潜在的なリスクの認識を高めることである。
論文 参考訳（メタデータ） (2024-02-29T20:25:16Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-20T11:56:25Z) - Bayesian Low-rank Adaptation for Large Language Models [28.86048553596652]
低ランク適応(LoRA)は、大規模言語モデル(LLM)のコスト効率の高い微調整のための新しいパラダイムとして登場した。
本稿では,LoRAパラメータにベイズ的アプローチを適用するLaplace-LoRAを紹介する。
論文 参考訳（メタデータ） (2023-08-24T23:06:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。