論文の概要: Training Production Language Models without Memorizing User Data
- arxiv url: http://arxiv.org/abs/2009.10031v1
- Date: Mon, 21 Sep 2020 17:12:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-16 04:43:10.090406
- Title: Training Production Language Models without Memorizing User Data
- Title（参考訳）: ユーザデータを記憶せずに生産言語モデルを訓練する
- Authors: Swaroop Ramaswamy, Om Thakkar, Rajiv Mathews, Galen Andrew, H. Brendan
McMahan, Fran\c{c}oise Beaufays
- Abstract要約: 本稿では,Federated Learning (FL) を用いて学習した最初のコンシューマスケール次世代単語予測(NWP)モデルを提案する。
本研究では、FLにおける生産型ニューラルネットワークのトレーニングのための、微分プライベートなメカニズムの展開を実演する。
- 参考スコア（独自算出の注目度）: 7.004279935788177
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper presents the first consumer-scale next-word prediction (NWP) model
trained with Federated Learning (FL) while leveraging the Differentially
Private Federated Averaging (DP-FedAvg) technique. There has been prior work on
building practical FL infrastructure, including work demonstrating the
feasibility of training language models on mobile devices using such
infrastructure. It has also been shown (in simulations on a public corpus) that
it is possible to train NWP models with user-level differential privacy using
the DP-FedAvg algorithm. Nevertheless, training production-quality NWP models
with DP-FedAvg in a real-world production environment on a heterogeneous fleet
of mobile phones requires addressing numerous challenges. For instance, the
coordinating central server has to keep track of the devices available at the
start of each round and sample devices uniformly at random from them, while
ensuring \emph{secrecy of the sample}, etc. Unlike all prior privacy-focused FL
work of which we are aware, for the first time we demonstrate the deployment of
a differentially private mechanism for the training of a production neural
network in FL, as well as the instrumentation of the production training
infrastructure to perform an end-to-end empirical measurement of unintended
memorization.
- Abstract（参考訳）: 本稿では,DP-FedAvg技術を活用しながら,Federated Learning (FL) を用いて学習した最初のコンシューマスケール次世代語予測モデルを提案する。
このようなインフラを使ったモバイルデバイス上での言語モデルのトレーニングの可能性を示す作業を含む、実用的なflインフラストラクチャの構築にはこれまでも取り組んできた。
また、DP-FedAvgアルゴリズムを用いてNWPモデルをユーザレベルの差分プライバシーでトレーニングすることが可能であることが(パブリックコーパスでのシミュレーションで)示されている。
それでも、DP-FedAvgで製造品質の高いNWPモデルを、異機種の携帯電話で実運用環境で訓練するには、多くの課題に対処する必要がある。
例えば、コーディネート中央サーバは、各ラウンドの開始時に利用可能なデバイスとサンプルデバイスをランダムに追跡し、サンプルの‘emph{secrecy of the sample}などを保証する必要がある。
これまでのすべてのプライバシ重視のFL作業とは違って、FLにおける生産ニューラルネットワークのトレーニングのための差分プライベートなメカニズムの展開と、意図しない記憶のエンドツーエンドな実証的な測定を行うための生産トレーニングインフラストラクチャの実施を初めて実演します。
関連論文リスト
- Mitigating Noise Detriment in Differentially Private Federated Learning with Model Pre-training [27.1846697092374]
事前トレーニングは、公開データセットを利用して高度な機械学習モデルを事前トレーニングする。
我々は、モデル事前学習が、微分プライベートなフェデレーション学習におけるノイズの軽減をいかに可能か、最初に検討する。
論文 参考訳（メタデータ） (2024-08-18T13:48:10Z) - A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳（メタデータ） (2024-01-09T10:22:23Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - Can Public Large Language Models Help Private Cross-device Federated Learning? [58.05449579773249]
言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。
公開データは、大小両方の言語モデルのプライバシーとユーティリティのトレードオフを改善するために使われてきた。
提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
論文 参考訳（メタデータ） (2023-05-20T07:55:58Z) - Federated Nearest Neighbor Machine Translation [66.8765098651988]
本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。
FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。
実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
論文 参考訳（メタデータ） (2023-02-23T18:04:07Z) - Test-Time Robust Personalization for Federated Learning [5.553167334488855]
Federated Learning(FL)は、多くのクライアントが分散トレーニングデータで共有グローバルモデルを共同で学習する機械学習パラダイムである。
パーソナライズされたFLは、グローバルモデルを異なるクライアントに適応させ、一貫したローカルトレーニングとテスト分布に関する有望な結果を達成する。
テスト時間分布シフトに頑健なFLモデルをパーソナライズするフェデレーションテスト時ヘッドアンサンブルとチューニング(FedTHE+)を提案する。
論文 参考訳（メタデータ） (2022-05-22T20:08:14Z) - Differentially private federated deep learning for multi-site medical
image segmentation [56.30543374146002]
フェデレートラーニング(FL)のような協調機械学習技術は、データ転送なしで効果的に大規模なデータセット上でモデルのトレーニングを可能にする。
近年のイニシアチブでは、FLで訓練されたセグメンテーションモデルが、局所的に訓練されたモデルと同様のパフォーマンスを達成できることが示されている。
しかし、FLは完全なプライバシ保護技術ではなく、プライバシ中心の攻撃は秘密の患者データを開示することができる。
論文 参考訳（メタデータ） (2021-07-06T12:57:32Z) - FLaaS: Federated Learning as a Service [3.128267020893596]
我々は、サードパーティのアプリケーション協調モデル構築のさまざまなシナリオを可能にするシステムであるフェデレートラーニング・アズ・ア・サービス(FL)について紹介する。
概念実証として,携帯電話上で実装し,シミュレーションおよび実機における結果の実用的意味について議論する。
100台のデバイスで数時間で画像オブジェクト検出を行うアプリケーションにまたがる、ユニークなFLモデルやジョイントFLモデルの構築において、FLが実現可能であることを実証する。
論文 参考訳（メタデータ） (2020-11-18T15:56:22Z) - End-to-end spoken language understanding using transformer networks and
self-supervised pre-trained features [17.407912171579852]
トランスフォーマーネットワークと自己教師型事前学習は、自然言語処理(NLP)分野における最先端の成果を一貫して提供してきた。
本稿では,自己教師付き事前学習音響特徴の活用が可能なモジュール型End-to-End (E2E) SLUトランスフォーマーネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-11-16T19:30:52Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳（メタデータ） (2020-06-05T07:10:22Z) - Pretraining Federated Text Models for Next Word Prediction [0.2219120333734152]
我々は、次の単語予測(NWP)のためのフェデレーショントレーニングへのトランスファーラーニングの考え方を採用する。
我々は,ランダムモデルから事前学習アプローチの様々な組み合わせへのフェデレーショントレーニングベースラインの比較を行った。
必要なトレーニングラウンドやメモリフットプリントの数を増大させることなく、事前訓練した埋め込みを用いて、性能向上を実現する。
論文 参考訳（メタデータ） (2020-05-11T01:48:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。