論文の概要: Differentially Private Next-Token Prediction of Large Language Models

• arxiv url: http://arxiv.org/abs/2403.15638v3
• Date: Fri, 26 Apr 2024 20:24:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 23:05:49.189109
• Title: Differentially Private Next-Token Prediction of Large Language Models
• Title（参考訳）: 大規模言語モデルの個人別次世代予測
• Authors: James Flemings, Meisam Razaviyayn, Murali Annavaram,
• Abstract要約: 差分プライバシーを保証するためにモデルをトレーニングするDP-SGDは、ホワイトボックスがモデルにアクセスできるという敵の能力を過大評価する。 本稿では,次トーケンサンプリングの本質を生かした,次トーケン予測のためのプライベート予測プロトコルPMixEDと,差分プライバシーを実現するための公開モデルを提案する。 その結果,PMixEDはサンプルレベルのプライバシよりも強力なプライバシ保証を実現し,プライバシ$epsilon=8$でDP-SGDを上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 13.297381972044558
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensuring the privacy of Large Language Models (LLMs) is becoming increasingly important. The most widely adopted technique to accomplish this is DP-SGD, which trains a model to guarantee Differential Privacy (DP). However, DP-SGD overestimates an adversary's capabilities in having white box access to the model and, as a result, causes longer training times and larger memory usage than SGD. On the other hand, commercial LLM deployments are predominantly cloud-based; hence, adversarial access to LLMs is black-box. Motivated by these observations, we present Private Mixing of Ensemble Distributions (PMixED): a private prediction protocol for next-token prediction that utilizes the inherent stochasticity of next-token sampling and a public model to achieve Differential Privacy. We formalize this by introducing RD-mollifers which project each of the model's output distribution from an ensemble of fine-tuned LLMs onto a set around a public LLM's output distribution, then average the projected distributions and sample from it. Unlike DP-SGD which needs to consider the model architecture during training, PMixED is model agnostic, which makes PMixED a very appealing solution for current deployments. Our results show that PMixED achieves a stronger privacy guarantee than sample-level privacy and outperforms DP-SGD for privacy $\epsilon = 8$ on large-scale datasets. Thus, PMixED offers a practical alternative to DP training methods for achieving strong generative utility without compromising privacy.
• Abstract（参考訳）: LLM(Large Language Models)のプライバシの確保がますます重要になっている。 最も広く採用されているテクニックはDP-SGDであり、差分プライバシー(DP)を保証するためにモデルを訓練している。 しかし、DP-SGDは、ホワイトボックスをモデルにアクセスできる敵の能力を過大評価し、結果として、SGDよりも長いトレーニング時間とメモリ使用量を引き起こす。 一方、商用のLLMデプロイメントは主としてクラウドベースであるため、LLMへの敵対的なアクセスはブラックボックスである。 これらの観測により,次点サンプリングの固有確率性を利用した次点予測のためのプライベート予測プロトコルPMixEDと,微分プライバシーを実現するためのパブリックモデルを提案する。 我々は、RD-molliferを導入し、そのモデルの各出力分布を、細調整されたLLMの集合から、パブリックなLLMの出力分布の集合に投影し、それから予測された分布とサンプルを平均化する。 トレーニング中にモデルアーキテクチャを検討する必要があるDP-SGDとは異なり、PMixEDはモデルに依存しないため、PMixEDは現在のデプロイメントにとって非常に魅力的なソリューションである。 以上の結果から,PMixEDはサンプルレベルのプライバシよりも強力なプライバシ保証を実現し,プライバシに対してDP-SGDより優れていることがわかった。 したがって、PMixEDは、プライバシーを損なうことなく強力な生成ユーティリティを実現するためのDPトレーニングの実践的な代替手段を提供する。

関連論文リスト

• LLM-based Privacy Data Augmentation Guided by Knowledge Distillation with a Distribution Tutor for Medical Text Classification [67.92145284679623]
  ノイズの多いプライベートディストリビューションをモデル化し,プライバシコストの低いサンプル生成を制御するDPベースのチュータを提案する。 理論的には、モデルのプライバシ保護を分析し、モデルを実証的に検証する。
  論文  参考訳（メタデータ） (2024-02-26T11:52:55Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Arbitrary Decisions are a Hidden Cost of Differentially Private Training [7.560688419767116]
  機械学習で使用されるメカニズムは、しばしばモデルトレーニング中に差分プライバシー(DP)を保証することを目的としている。 モデルパラメータをプライバシに敏感なデータに適合させる際にランダム化を利用する。 与えられた入力の例として、等プライベートなモデルによって予測される出力は、トレーニングで使用されるランダム性に依存する。
  論文  参考訳（メタデータ） (2023-02-28T12:13:43Z)
• Multi-Message Shuffled Privacy in Federated Learning [2.6778110563115542]
  本稿では,通信制約下での分散最適化について検討する。 最適化にSGDを用いたサーバは、分散平均推定(DME)を用いたモデル更新のためのクライアント側局所勾配を集約する 最近開発されたMMS(Multi-message shuffled)プライバシーフレームワークを用いて,通信効率の良いプライベートDMEを開発する。
  論文  参考訳（メタデータ） (2023-02-22T05:23:52Z)
• Skellam Mixture Mechanism: a Novel Approach to Federated Learning with Differential Privacy [27.906539122581293]
  本稿では,モデルを共同で訓練する複数の参加者間でセンシティブなデータが分散されるシナリオに焦点を当てる。 ディープニューラルネットワークは、基礎となるトレーニングデータを記憶する強力な能力を持っている。 この問題の効果的な解決策は、勾配にランダムノイズを注入することで厳密なプライバシー保証を提供する差分プライバシを持つモデルを訓練することである。
  論文  参考訳（メタデータ） (2022-12-08T16:13:35Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。