論文の概要: FLAME: Differentially Private Federated Learning in the Shuffle Model
- arxiv url: http://arxiv.org/abs/2009.08063v4
- Date: Sat, 20 Mar 2021 09:05:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 08:52:31.793733
- Title: FLAME: Differentially Private Federated Learning in the Shuffle Model
- Title(参考訳): FLAME:シャッフルモデルにおける個人的フェデレーション学習
- Authors: Ruixuan Liu, Yang Cao, Hong Chen, Ruoyang Guo, Masatoshi Yoshikawa
- Abstract要約: フェデレートラーニング(FL)は、分析者がユーザーの生データを収集することなくモデルをトレーニングできる、有望な機械学習パラダイムである。
本稿では、シャッフルモデルにおけるFLフレームワークと、既存の作業から拡張された単純なプロトコル(SS-Simple)を提案する。
モデルパラメータの次元が非常に大きいため, SS-Simple は FL のプライバシー強化効果が不十分であることがわかった。
モデルサイズがユーザ人口より大きい場合の実用性を高めるため,勾配スペーシング技術を用いた高度なプロトコル(SS-Topk)を提案する。
- 参考スコア(独自算出の注目度): 25.244726600260748
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is a promising machine learning paradigm that enables
the analyzer to train a model without collecting users' raw data. To ensure
users' privacy, differentially private federated learning has been intensively
studied. The existing works are mainly based on the \textit{curator model} or
\textit{local model} of differential privacy. However, both of them have pros
and cons. The curator model allows greater accuracy but requires a trusted
analyzer. In the local model where users randomize local data before sending
them to the analyzer, a trusted analyzer is not required but the accuracy is
limited. In this work, by leveraging the \textit{privacy amplification} effect
in the recently proposed shuffle model of differential privacy, we achieve the
best of two worlds, i.e., accuracy in the curator model and strong privacy
without relying on any trusted party. We first propose an FL framework in the
shuffle model and a simple protocol (SS-Simple) extended from existing work. We
find that SS-Simple only provides an insufficient privacy amplification effect
in FL since the dimension of the model parameter is quite large. To solve this
challenge, we propose an enhanced protocol (SS-Double) to increase the privacy
amplification effect by subsampling. Furthermore, for boosting the utility when
the model size is greater than the user population, we propose an advanced
protocol (SS-Topk) with gradient sparsification techniques. We also provide
theoretical analysis and numerical evaluations of the privacy amplification of
the proposed protocols. Experiments on real-world dataset validate that SS-Topk
improves the testing accuracy by 60.7\% than the local model based FL.
- Abstract(参考訳): フェデレートラーニング(FL)は、分析者がユーザーの生データを収集することなくモデルをトレーニングできる、有望な機械学習パラダイムである。
ユーザのプライバシを確保するために、差分的にプライベートなフェデレーション学習が集中的に研究されている。
既存の作品は、主に差分プライバシーの \textit{curator model} または \textit{local model} に基づいている。
しかし、両者とも長所と短所がある。
キュレーターモデルはより精度が高いが、信頼できるアナライザを必要とする。
ユーザがアナライザに送信する前にローカルデータをランダム化するローカルモデルでは、信頼できるアナライザは必要ないが、精度は限られている。
本稿では,最近提案された差分プライバシーのシャッフルモデルにおける \textit{privacy amplification}効果を利用して,信頼された関係者に頼らずに,キュレーターモデルの精度と強力なプライバシーという2つの世界の最善を実現した。
まず、シャッフルモデルにおけるFLフレームワークと、既存の作業から拡張された単純なプロトコル(SS-Simple)を提案する。
モデルパラメータの次元が非常に大きいため, SS-Simple は FL のプライバシー強化効果が不十分であることがわかった。
この課題を解決するために,サブサンプリングによるプライバシー増幅効果を高めるための拡張プロトコル(SS-Double)を提案する。
さらに,モデルサイズがユーザ人口より大きい場合の実用性向上のために,勾配スペーシング技術を用いた高度なプロトコル(SS-Topk)を提案する。
また,提案プロトコルのプライバシ増幅に関する理論的解析と数値評価を行った。
実世界のデータセットの実験では、SS-TopkはローカルモデルベースのFLよりも60.7%精度が向上している。
関連論文リスト
- PRIOR: Personalized Prior for Reactivating the Information Overlooked in
Federated Learning [16.344719695572586]
各クライアントのグローバルモデルにパーソナライズされた事前知識を注入する新しいスキームを提案する。
提案したアプローチの中心は,Bregman Divergence (pFedBreD) による PFL フレームワークである。
提案手法は5つのデータセット上での最先端のパフォーマンスに到達し、8つのベンチマークで最大3.5%性能を向上する。
論文 参考訳(メタデータ) (2023-10-13T15:21:25Z) - Can Public Large Language Models Help Private Cross-device Federated
Learning? [51.78446908697249]
言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。
提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
論文 参考訳(メタデータ) (2023-05-20T07:55:58Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳(メタデータ) (2022-04-15T22:36:55Z) - Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。
モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。
本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文 参考訳(メタデータ) (2022-02-14T18:33:12Z) - Don't Generate Me: Training Differentially Private Generative Models
with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。
差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文 参考訳(メタデータ) (2021-11-01T18:10:21Z) - Renyi Differential Privacy of the Subsampled Shuffle Model in
Distributed Learning [7.197592390105457]
クライアントは、プライバシを必要とするサーバとのインタラクションを通じて、学習モデルを反復的に構築する分散学習フレームワークで、プライバシを研究する。
最適化とフェデレートラーニング(FL)パラダイムによって動機付けられ、各ラウンドで少数のデータサンプルがランダムにサブサンプリングされた場合に焦点を当てる。
より強力なローカルプライバシ保証を得るために,各クライアントがローカルディファレンシャル・プライベート(LDP)機構を用いて応答をランダム化するシャッフルプライバシ・モデルを用いてこれを検証した。
論文 参考訳(メタデータ) (2021-07-19T11:43:24Z) - Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for
Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。
偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文 参考訳(メタデータ) (2021-02-25T04:29:58Z) - GRAFFL: Gradient-free Federated Learning of a Bayesian Generative Model [8.87104231451079]
本稿では、GRAFFLと呼ばれる、最初の勾配のない連邦学習フレームワークを提案する。
参加する各機関から得られた暗黙の情報を用いて、パラメータの後方分布を学習する。
本稿では,GRAFFLに基づくベイズ混合モデルを提案する。
論文 参考訳(メタデータ) (2020-08-29T07:19:44Z) - Federated Learning with Sparsification-Amplified Privacy and Adaptive
Optimization [27.243322019117144]
フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。
スパーシフィケーションを増幅した新しいFLフレームワークを提案する。
提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
論文 参考訳(メタデータ) (2020-08-01T20:22:57Z) - Privacy Amplification via Random Check-Ins [38.72327434015975]
Differentially Private Gradient Descent (DP-SGD) は、多くのアプリケーションにおいて、機密データを学習するための基本的な構成要素となっている。
本稿では,DP-SGD のような反復的手法を,多くのデバイス(クライアント)に分散したフェデレーションラーニング(FL)の設定において実施することに焦点を当てる。
当社の主なコントリビューションは,各クライアントがローカルかつ独立に行うランダムな参加決定にのみ依存する,Emphrandom Check-in分散プロトコルです。
論文 参考訳(メタデータ) (2020-07-13T18:14:09Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳(メタデータ) (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。