論文の概要: Federated Learning of Gboard Language Models with Differential Privacy
- arxiv url: http://arxiv.org/abs/2305.18465v2
- Date: Mon, 17 Jul 2023 08:28:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 22:11:08.484030
- Title: Federated Learning of Gboard Language Models with Differential Privacy
- Title(参考訳): 差分プライバシーを持つGboard言語モデルのフェデレーション学習
- Authors: Zheng Xu, Yanxiang Zhang, Galen Andrew, Christopher A. Choquette-Choo,
Peter Kairouz, H. Brendan McMahan, Jesse Rosenstock, Yuanbo Zhang
- Abstract要約: 我々は、Google Keyboard(Gboard)において、フェデレートラーニング(FL)とディファレンシャルプライバシ(DP)で言語モデル(LM)を訓練する。
本稿では,DP-Follow-the-Regularized-Leader (DP-FTRL)citepkairouz21bアルゴリズムを適用し,クライアントデバイスの一様サンプリングを必要とせず,有意義に形式的なDP保証を実現する。
私たちは、Gboardの次のワード予測ニューラルネットワークLMがDP保証されていることを、喜んで発表します。
- 参考スコア(独自算出の注目度): 19.398299628016442
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We train language models (LMs) with federated learning (FL) and differential
privacy (DP) in the Google Keyboard (Gboard). We apply the
DP-Follow-the-Regularized-Leader (DP-FTRL)~\citep{kairouz21b} algorithm to
achieve meaningfully formal DP guarantees without requiring uniform sampling of
client devices. To provide favorable privacy-utility trade-offs, we introduce a
new client participation criterion and discuss the implication of its
configuration in large scale systems. We show how quantile-based clip
estimation~\citep{andrew2019differentially} can be combined with DP-FTRL to
adaptively choose the clip norm during training or reduce the hyperparameter
tuning in preparation for training. With the help of pretraining on public
data, we train and deploy more than twenty Gboard LMs that achieve high utility
and $\rho-$zCDP privacy guarantees with $\rho \in (0.2, 2)$, with two models
additionally trained with secure aggregation~\citep{bonawitz2017practical}. We
are happy to announce that all the next word prediction neural network LMs in
Gboard now have DP guarantees, and all future launches of Gboard neural network
LMs will require DP guarantees. We summarize our experience and provide
concrete suggestions on DP training for practitioners.
- Abstract(参考訳): 我々は,Google Keyboard (Gboard) において,フェデレートラーニング (FL) と差分プライバシ (DP) を用いて言語モデル (LM) を訓練する。
我々は,DP-Follow-the-Regularized-Leader (DP-FTRL)~\citep{kairouz21b} アルゴリズムを適用し,クライアントデバイスの一様サンプリングを必要とせずに有意義に形式的なDP保証を実現する。
適切なプライバシ利用のトレードオフを提供するため,新たなクライアント参加基準を導入し,大規模システムにおけるその構成の意義について考察する。
DP-FTRLと組み合わせることで、トレーニング中のクリップ基準を適応的に選択したり、トレーニングの準備のためにハイパーパラメータチューニングを減らしたりすることができることを示す。
公開データの事前トレーニングの助けを借りて、高いユーティリティと$\rho-$zcdpプライバシ保証を達成する20以上のgboard lmsを、$\rho \in (0.2, 2)$でトレーニングし、セキュアアグリゲーションでさらに2つのモデルをトレーニングします。
gboardの次のワード予測ニューラルネットワークlmsがdp保証を持つことを発表して、gboardニューラルネットワークlmsの今後のローンチにはdp保証が必要です。
筆者らの経験を要約し,DP研修に関する具体的な提案を行う。
関連論文リスト
- Differentially Private Representation Learning via Image Captioning [53.67133628775955]
画像キャプションとインターネット規模のマルチモーダルデータセットのスケールアップにより,効率的なDP表現学習が可能であることを示す。
我々の研究は、高ユーティリティDP表現学習はゼロからトレーニングすることで達成できないという一般的な感情に挑戦する。
論文 参考訳(メタデータ) (2024-03-04T21:52:25Z) - ULDP-FL: Federated Learning with Across Silo User-Level Differential
Privacy [20.402678975554053]
Differentially Private Federated Learning (DP-FL)は、正式なプライバシを保証するための協調的な機械学習アプローチとして注目を集めている。
Uldp-FLは,単一ユーザのデータが複数のサイロに属する可能性のあるクロスサイロFLにおいて,ユーザレベルのDPを保証するように設計された,新しいFLフレームワークである。
論文 参考訳(メタデータ) (2023-08-23T15:50:51Z) - Learning to Generate Image Embeddings with User-level Differential
Privacy [31.797461992234457]
DP-FedEmbは、ユーザ毎の感度制御とノイズ付加を備えたフェデレーション学習アルゴリズムの一種である。
数百万のユーザがトレーニングに参加可能な場合,ユーティリティの低下を5%以内でコントロールしながら,強力なユーザレベルのDP保証を$epsilon4$で実現できることを示す。
論文 参考訳(メタデータ) (2022-11-20T01:59:37Z) - An Ensemble Teacher-Student Learning Approach with Poisson Sub-sampling
to Differential Privacy Preserving Speech Recognition [51.20130423303659]
本稿では,Poissonサブサンプルを用いたアンサンブル学習フレームワークを提案する。
DP下での強化を通じて、トレーニングデータから派生した学生モデルは、プライバシ保護なしでトレーニングされたモデルからほとんどモデル劣化を受けない。
提案手法は,<i>Poisson sub-sampling</i>によるプライバシ予算の増幅を行い,同じレベルのプライバシ予算を達成するためにノイズの少ないターゲット予測モデルをトレーニングする。
論文 参考訳(メタデータ) (2022-10-12T16:34:08Z) - DP$^2$-VAE: Differentially Private Pre-trained Variational Autoencoders [26.658723213776632]
DP保証付き変分オートエンコーダ(VAE)のトレーニング機構であるDP$2$-VAEを提案する。
さまざまなプライバシ予算と評価指標の下で,ベースラインよりも優位性を示すために,画像データセットに関する広範な実験を行った。
論文 参考訳(メタデータ) (2022-08-05T23:57:34Z) - Lifelong DP: Consistently Bounded Differential Privacy in Lifelong
Machine Learning [28.68587691924582]
新たなタスクを継続的に学習し,過去のタスクを記憶するプロセスは,未知のプライバシリスクと,プライバシ損失を拘束する課題をもたらすことを示す。
ライフロングDPの形式的定義を導入し、任意のタスクのトレーニングセットにデータを含めることが保護される。
我々はL2DP-MLと呼ばれるスケーラブルで異種なアルゴリズムを提案し、L2Mモデルの新バージョンを効率的に訓練し、継続する。
論文 参考訳(メタデータ) (2022-07-26T11:55:21Z) - Automatic Clipping: Differentially Private Deep Learning Made Easier and
Stronger [39.93710312222771]
サンプルごとのクリッピングは、ディープラーニングモデルのための実用的な差分プライベート(DP)トレーニングを可能にするアルゴリズムの重要なステップである。
本稿では,任意のDPに対してRをチューニングする必要がなくなる自動クリッピング(automatic clipping)という,使い勝手の良い代替手法を提案する。
論文 参考訳(メタデータ) (2022-06-14T19:49:44Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳(メタデータ) (2022-05-06T01:22:20Z) - Differentially Private Federated Bayesian Optimization with Distributed
Exploration [48.9049546219643]
我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。
DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。
また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
論文 参考訳(メタデータ) (2021-10-27T04:11:06Z) - Towards Differentially Private Text Representations [52.64048365919954]
信頼できないサーバ環境下で新しいディープラーニングフレームワークを開発する。
乱数化モジュールに対して、プライバシーパラメータ$epsilon$の精度への影響を低減するために、新しいローカル微分プライベート(LDP)プロトコルを提案する。
分析と実験により、我々のフレームワークは、非プライベートなフレームワークや既存のLDPプロトコルと同等またはそれ以上のパフォーマンスを提供することが示された。
論文 参考訳(メタデータ) (2020-06-25T04:42:18Z) - User-Level Privacy-Preserving Federated Learning: Analysis and
Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。
情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。
サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-29T10:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。