論文の概要: LMO-DP: Optimizing the Randomization Mechanism for Differentially Private Fine-Tuning (Large) Language Models

• arxiv url: http://arxiv.org/abs/2405.18776v1
• Date: Wed, 29 May 2024 05:32:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 18:38:40.150566
• Title: LMO-DP: Optimizing the Randomization Mechanism for Differentially Private Fine-Tuning (Large) Language Models
• Title（参考訳）: LMO-DP:微分プライベート微調整(大規模)言語モデルのランダム化機構の最適化
• Authors: Qin Yang, Meisam Mohammad, Han Wang, Ali Payani, Ashish Kundu, Kai Shu, Yan Yan, Yuan Hong,
• Abstract要約: 本稿では,LMO-DP(Language Model-based Optimal Differential Privacy)機構を提案する。 これは、最適化された言語モデルの厳密な構成を、サブ最適DPメカニズムで実現するための第一歩である。 LMO-DPはまた、強力な差分プライバシー保証を持つLlama-2を正確に微調整する最初のソリューションでもある。
• 参考スコア（独自算出の注目度）: 31.718398512438238
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially Private Stochastic Gradient Descent (DP-SGD) and its variants have been proposed to ensure rigorous privacy for fine-tuning large-scale pre-trained language models. However, they rely heavily on the Gaussian mechanism, which may overly perturb the gradients and degrade the accuracy, especially in stronger privacy regimes (e.g., the privacy budget $\epsilon < 3$). To address such limitations, we propose a novel Language Model-based Optimal Differential Privacy (LMO-DP) mechanism, which takes the first step to enable the tight composition of accurately fine-tuning (large) language models with a sub-optimal DP mechanism, even in strong privacy regimes (e.g., $0.1\leq \epsilon<3$). Furthermore, we propose a novel offline optimal noise search method to efficiently derive the sub-optimal DP that significantly reduces the noise magnitude. For instance, fine-tuning RoBERTa-large (with 300M parameters) on the SST-2 dataset can achieve an accuracy of 92.20% (given $\epsilon=0.3$, $\delta=10^{-10}$) by drastically outperforming the Gaussian mechanism (e.g., $\sim 50\%$ for small $\epsilon$ and $\delta$). We also draw similar findings on the text generation tasks on GPT-2. Finally, to our best knowledge, LMO-DP is also the first solution to accurately fine-tune Llama-2 with strong differential privacy guarantees. The code will be released soon and available upon request.
• Abstract（参考訳）: 大規模訓練済みの大規模言語モデルのための厳密なプライバシを確保するために,DP-SGDとその変種を識別的にプライベートな確率勾配Descent (DP-SGD) が提案されている。 しかし、特により強力なプライバシー体制(例えば、プライバシー予算$\epsilon < 3$)では、過度に勾配を乱し、精度を低下させるガウスのメカニズムに大きく依存している。 このような制約に対処するため、我々はLMO-DP(Language Model-based Optimal Differential Privacy)メカニズムを提案する。これは、強力なプライバシ体制(例えば、$0.1\leq \epsilon<3$)であっても、高度に微調整された(大規模)言語モデルの厳密な構成を可能にするための第一歩である。 さらに,提案手法は,雑音の大きさを著しく低減するサブ最適DPを効率的に導出する,新しいオフライン最適雑音探索法を提案する。 例えば、SST-2データセット上の細調整のRoBERTa-large(300万のパラメータを持つ)は、ガウス機構(例えば、小さな$\epsilon$と$\delta$に対して$\sim 50\%$)を大幅に上回ることによって、92.20%の精度($\epsilon=0.3$, $\delta=10^{-10}$)を達成することができる。 また,GPT-2におけるテキスト生成タスクについても同様の知見が得られた。 最後に、私たちの知る限り、LMO-DPは強力な差分プライバシー保証を持つLlama-2を正確に微調整する最初のソリューションでもある。 コードは間もなくリリースされ、要求に応じて利用可能になる。

関連論文リスト

• Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
  既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。 本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。 従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
  論文  参考訳（メタデータ） (2024-05-02T03:48:47Z)
• Differentially Private Zeroth-Order Methods for Scalable Large Language Model Finetuning [0.0]
  プリトレーニング済みLLMのDP微調整は、タスク固有のデータセットのプライバシ保護に広く用いられている。 DP-SGDのスケーラビリティを限界まで押し上げたにもかかわらず、DP-SGDベースの微調整法は残念ながらSGD固有の非効率性によって制限されている。
  論文  参考訳（メタデータ） (2024-02-12T17:24:15Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Differentially Private Image Classification from Features [53.75086935617644]
  転送学習を活用することは、差分プライバシーを持つ大規模モデルのトレーニングに有効な戦略であることが示されている。 最近の研究によると、訓練済みモデルの最後の層だけをプライベートにトレーニングすることは、DPで最高のユーティリティを提供する。
  論文  参考訳（メタデータ） (2022-11-24T04:04:20Z)
• Differentially Private Deep Learning with ModelMix [14.445182641912014]
  そこで本研究では,中間モデル状態のランダムアグリゲーションを行う, Em ModelMix と呼ばれる汎用最適化フレームワークを提案する。 トレーニング軌跡のエントロピーを利用した複合プライバシー分析を強化する。 本研究は,勾配クリッピングの効果に関する公式な研究である。
  論文  参考訳（メタデータ） (2022-10-07T22:59:00Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。