論文の概要: Privacy-Preserving Low-Rank Adaptation for Latent Diffusion Models
- arxiv url: http://arxiv.org/abs/2402.11989v1
- Date: Mon, 19 Feb 2024 09:32:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 17:16:10.481605
- Title: Privacy-Preserving Low-Rank Adaptation for Latent Diffusion Models
- Title(参考訳): 潜在拡散モデルに対するプライバシー保護低ランク適応
- Authors: Zihao Luo, Xilie Xu, Feng Liu, Yun Sing Koh, Di Wang and Jingfeng
Zhang
- Abstract要約: 低ランク適応(LoRA)は、トレーニングデータセットに潜時拡散モデル(LDM)を適用して特定のオブジェクトを生成するための効率的な戦略である。
しかし、LoRAを経由した適応LDMは、特定のデータポイントがプライベートトレーニングデータセットに属するかどうかを判断できる、メンバシップ推論(MI)攻撃に対して脆弱である。
プライバシ保護のPrivateLoRAという,簡単なソリューションを提案するための最初の取り組みを行っている。
- 参考スコア(独自算出の注目度): 19.574171007151254
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Low-rank adaptation (LoRA) is an efficient strategy for adapting latent
diffusion models (LDMs) on a training dataset to generate specific objects by
minimizing the adaptation loss. However, adapted LDMs via LoRA are vulnerable
to membership inference (MI) attacks that can judge whether a particular data
point belongs to private training datasets, thus facing severe risks of privacy
leakage. To defend against MI attacks, we make the first effort to propose a
straightforward solution: privacy-preserving LoRA (PrivateLoRA). PrivateLoRA is
formulated as a min-max optimization problem where a proxy attack model is
trained by maximizing its MI gain while the LDM is adapted by minimizing the
sum of the adaptation loss and the proxy attack model's MI gain. However, we
empirically disclose that PrivateLoRA has the issue of unstable optimization
due to the large fluctuation of the gradient scale which impedes adaptation. To
mitigate this issue, we propose Stable PrivateLoRA that adapts the LDM by
minimizing the ratio of the adaptation loss to the MI gain, which implicitly
rescales the gradient and thus stabilizes the optimization. Our comprehensive
empirical results corroborate that adapted LDMs via Stable PrivateLoRA can
effectively defend against MI attacks while generating high-quality images. Our
code is available at https://github.com/WilliamLUO0/StablePrivateLoRA.
- Abstract(参考訳): 低ランク適応(LoRA)は、適応損失を最小限に抑えて特定のオブジェクトを生成する訓練データセットに潜時拡散モデル(LDM)を適用するための効率的な戦略である。
しかし、LoRAを介して適用されたLCMは、特定のデータポイントがプライベートトレーニングデータセットに属するかどうかを判断できるメンバーシップ推論(MI)攻撃に弱いため、プライバシー漏洩の深刻なリスクに直面している。
MI攻撃に対する防御として,プライバシ保護のLoRA (PrivateLoRA) という簡単なソリューションを提案する。
PrivateLoRAは、適応損失とプロキシ攻撃モデルのMIゲインの和を最小化して、MIゲインを最大化してプロキシ攻撃モデルを訓練するmin-max最適化問題として定式化される。
しかし, 適応を阻害する勾配尺度の変動が大きいため, privatelora が不安定最適化の問題を持っていることを実証的に明らかにした。
この問題を軽減するために,MIゲインに対する適応損失の比率を最小化してLCMに適応する安定プライベートロラを提案し,グラデーションを暗黙的に再スケールし,最適化を安定化させる。
我々の総合的な実験結果は、Stable PrivateLoRAを介してLDMを適応させることで、高品質な画像を生成しながらMI攻撃を効果的に防ぐことができることを裏付ける。
私たちのコードはhttps://github.com/WilliamLUO0/StablePrivateLoRAで公開されています。
関連論文リスト
- AdvLoRA: Adversarial Low-Rank Adaptation of Vision-Language Models [47.50206551100736]
視覚言語モデル(VLM)は人工知能(AGI)の重要な技術である
本稿では,VLMの従来の適応手法の脆弱性を実証し,セキュリティ上の重大なリスクをもたらす可能性があることを示す。
パラメータ効率の高いアンダーラインAdvLoRAをアンダーラインLow-underlineRankアンダーライン適応により提案する。
論文 参考訳(メタデータ) (2024-04-20T17:19:54Z) - Improving LoRA in Privacy-preserving Federated Learning [44.47315926976059]
ローランク適応(ローランク適応、LoRA)は、事前訓練された言語モデルにおける最も一般的なタスク固有パラメータ効率細調整(PEFT)手法の1つである。
本稿では,これらの課題を緩和するために,LoRAの効率的かつ効果的なフェデレートフリーズA LoRA(FFA-LoRA)を提案する。
論文 参考訳(メタデータ) (2024-03-18T23:20:08Z) - LoRA-as-an-Attack! Piercing LLM Safety Under The Share-and-Play Scenario [61.99243609126672]
LoRAモジュールにバックドアを注入し,LoRA感染機構を深く掘り下げる方法について検討した。
我々の狙いは、LoRA-as-an-Attackによる潜在的な影響を積極的に防止するため、新興のシェア・アンド・プレイシナリオにおける潜在的なリスクの認識を高めることである。
論文 参考訳(メタデータ) (2024-02-29T20:25:16Z) - WARM: On the Benefits of Weight Averaged Reward Models [63.08179139233774]
Weight Averaged Reward Models (WARM) を提案する。
最良N法とRL法を用いた要約タスクの実験は、WARMがLLM予測の全体的な品質とアライメントを改善することを示す。
論文 参考訳(メタデータ) (2024-01-22T18:27:08Z) - Differentially Private Low-Rank Adaptation of Large Language Model Using
Federated Learning [36.19569583225485]
本稿では,大規模言語モデル(LLM)に適した新しいフェデレーション学習アルゴリズムDP-LoRAを紹介する。
DP-LoRAは、重み付け更新のノイズを追加し、データプライバシを個別に維持しつつ、協調的なモデルトレーニングを容易にするガウス機構を使用することで、データのプライバシを保存する。
論文 参考訳(メタデータ) (2023-12-29T06:50:38Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-11-20T11:56:25Z) - Bayesian Low-rank Adaptation for Large Language Models [28.86048553596652]
低ランク適応(LoRA)は、大規模言語モデル(LLM)のコスト効率の高い微調整のための新しいパラダイムとして登場した。
本稿では,LoRAパラメータにベイズ的アプローチを適用するLaplace-LoRAを紹介する。
論文 参考訳(メタデータ) (2023-08-24T23:06:21Z) - LoRAPrune: Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [59.74018108967818]
低ランク適応(LoRA)は、安価に微調整された大型事前訓練モデル(LPM)に現れている。
LoRAPruneは、メモリ効率のよい推論のための正確でコンパクトなモデルを提供する新しいフレームワークである。
論文 参考訳(メタデータ) (2023-05-28T15:15:48Z) - Over-the-Air Federated Learning with Privacy Protection via Correlated
Additive Perturbations [57.20885629270732]
我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。
従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。
本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
論文 参考訳(メタデータ) (2022-10-05T13:13:35Z) - Private, Efficient, and Accurate: Protecting Models Trained by
Multi-party Learning with Differential Privacy [8.8480262507008]
セキュアなDPSGDプロトコルと2つの最適化手法からなるPEA(Private, Efficient, Accurate)を提案する。
TF-Encrypted と Queqiao の2つのオープンソース MPL フレームワークで PEA を実装しています。
PEAはLAN設定下7分以内でCIFAR-10の精度88%の差分プライベート分類モデルを訓練できることを示した。
論文 参考訳(メタデータ) (2022-08-18T06:48:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。