論文の概要: Privacy-preserving Fine-tuning of Large Language Models through Flatness
- arxiv url: http://arxiv.org/abs/2403.04124v1
- Date: Thu, 7 Mar 2024 00:44:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 15:31:59.059211
- Title: Privacy-preserving Fine-tuning of Large Language Models through Flatness
- Title(参考訳): 平坦性による大規模言語モデルのプライバシー保護微調整
- Authors: Tiejin Chen, Longchao Da, Huixue Zhou, Pingzhi Li, Kaixiong Zhou,
Tianlong Chen, Hua Wei
- Abstract要約: 微分プライバシ(DP)技術は、一般化劣化のコストでプライバシーリスクを軽減するために、既存の研究で検討されている。
本稿では,DP学習モデルにおける損失景観の平坦さが,プライバシと一般化のトレードオフにおいて重要な役割を担っていることを明らかにする。
適切なウェイトフラットネスを強制する全体的枠組みを提案し、競合するプライバシ保護を伴うモデルの一般化を大幅に改善する。
- 参考スコア(独自算出の注目度): 44.290122515938954
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The privacy concerns associated with the use of Large Language Models (LLMs)
have grown recently with the development of LLMs such as ChatGPT. Differential
Privacy (DP) techniques are explored in existing work to mitigate their privacy
risks at the cost of generalization degradation. Our paper reveals that the
flatness of DP-trained models' loss landscape plays an essential role in the
trade-off between their privacy and generalization. We further propose a
holistic framework to enforce appropriate weight flatness, which substantially
improves model generalization with competitive privacy preservation. It
innovates from three coarse-to-grained levels, including perturbation-aware
min-max optimization on model weights within a layer, flatness-guided sparse
prefix-tuning on weights across layers, and weight knowledge distillation
between DP \& non-DP weights copies. Comprehensive experiments of both
black-box and white-box scenarios are conducted to demonstrate the
effectiveness of our proposal in enhancing generalization and maintaining DP
characteristics. For instance, on text classification dataset QNLI, DP-Flat
achieves similar performance with non-private full fine-tuning but with DP
guarantee under privacy budget $\epsilon=3$, and even better performance given
higher privacy budgets. Codes are provided in the supplement.
- Abstract(参考訳): LLM(Large Language Models)の使用に伴うプライバシの懸念は、ChatGPTのようなLLMの開発によって、近年増大している。
微分プライバシ(DP)技術は、一般化劣化のコストでプライバシーリスクを軽減するために、既存の研究で検討されている。
本稿では,DP学習モデルの損失景観の平坦さが,プライバシと一般化のトレードオフにおいて重要な役割を果たすことを明らかにした。
さらに,プライバシ保護の競争によるモデル一般化を大幅に改善する,適切な重み平坦性を実現するための総合的枠組みを提案する。
層内のモデル重みに対する摂動認識min-max最適化、層間の重みに対する平坦性誘導プレフィックス調整、dp \および非dp重みコピー間の重み知識蒸留を含む3つの粗粒度レベルから革新する。
ブラックボックスシナリオとホワイトボックスシナリオの総合実験を行い, 一般化とDP特性の維持における提案の有効性を実証した。
例えば、テキスト分類データセットのQNLIでは、DP-Flatは、プライベートでない完全な微調整で同様のパフォーマンスを達成するが、DP保証はプライバシー予算で$\epsilon=3$、さらに高いプライバシー予算でパフォーマンスが向上する。
コードはサプリメントに記載されている。
関連論文リスト
- Quantifying and Mitigating Privacy Risks for Tabular Generative Models [13.153278585144355]
生成モデルからの合成データは、プライバシを保存するデータ共有ソリューションとして現れる。
本稿では,DP-TLDM,差分プライベートタブララプレント拡散モデルを提案する。
DP-TLDMは, 平均データ類似度35%, 下流タスク用ユーティリティ15%, データの識別性50%で, 合成品質の向上を図っている。
論文 参考訳(メタデータ) (2024-03-12T17:27:49Z) - Privacy Amplification for the Gaussian Mechanism via Bounded Support [64.86780616066575]
インスタンスごとの差分プライバシー(pDP)やフィッシャー情報損失(FIL)といったデータ依存のプライバシ会計フレームワークは、固定されたトレーニングデータセット内の個人に対してきめ細かいプライバシー保証を提供する。
本稿では,データ依存会計下でのプライバシ保証を向上することを示すとともに,バウンドサポートによるガウス機構の簡単な修正を提案する。
論文 参考訳(メタデータ) (2024-03-07T21:22:07Z) - Wasserstein Differential Privacy [4.112909937203119]
本稿では、プライバシー漏洩のリスクを測定するための代替DPフレームワークであるWDP(Wasserstein差分プライバシー)を提案する。
WDPには13の優れた特性があり、WDPの性能向上を理論的に支援できることを示す。
我々は、WDPを勾配降下シナリオに適用できる、Wasserstein accountantと呼ばれる一般的なプライバシ会計手法を導出する。
論文 参考訳(メタデータ) (2024-01-23T02:08:20Z) - Private Fine-tuning of Large Language Models with Zeroth-order
Optimization [54.24600476755372]
DP-ZO(DP-ZO)は、ゼロオーダー最適化を民営化し、トレーニングデータのプライバシを保存する、大規模言語モデルを微調整する新しい手法である。
DP-ZOは、SQuADから1000のトレーニングサンプルにOPT-66Bを微調整すると、プライバシが1,10-5)$-DPになるため、わずか1.86%のパフォーマンス低下を示す。
論文 参考訳(メタデータ) (2024-01-09T03:53:59Z) - Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-14T17:59:51Z) - Understanding how Differentially Private Generative Models Spend their
Privacy Budget [10.565267601373561]
我々は,DP生成モデルがプライバシ予算を列や列に分散する方法について分析する。
グラフィカルモデルではプライバシの予算を水平に分散する一方で,データ量の増加によりモノトニックに最適化されたタスクのパフォーマンスが向上することを示す。
深層生成モデルはイテレーション毎に予算を費やすため、その振る舞いはさまざまなデータセット次元で予測できないが、より多くの機能でトレーニングされた場合、パフォーマンスが向上する可能性がある。
論文 参考訳(メタデータ) (2023-05-18T14:14:42Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳(メタデータ) (2022-05-06T01:22:20Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳(メタデータ) (2022-04-15T22:36:55Z) - DataLens: Scalable Privacy Preserving Training via Gradient Compression
and Aggregation [15.63770709526671]
スケーラブルなプライバシー保護生成モデルDataLENSを提案します。
その結果,DATALENSは他のベースラインDP生成モデルよりも優れていた。
DataLENSの主要なビルディングブロックの一つである提案されたTOPAGGアプローチをDP SGDトレーニングに適応させます。
論文 参考訳(メタデータ) (2021-03-20T06:14:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。