論文の概要: Privacy Amplification via Random Check-Ins
- arxiv url: http://arxiv.org/abs/2007.06605v2
- Date: Thu, 30 Jul 2020 16:26:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 23:41:22.078233
- Title: Privacy Amplification via Random Check-Ins
- Title(参考訳): ランダムチェックインによるプライバシー増幅
- Authors: Borja Balle, Peter Kairouz, H. Brendan McMahan, Om Thakkar, Abhradeep
Thakurta
- Abstract要約: Differentially Private Gradient Descent (DP-SGD) は、多くのアプリケーションにおいて、機密データを学習するための基本的な構成要素となっている。
本稿では,DP-SGD のような反復的手法を,多くのデバイス(クライアント)に分散したフェデレーションラーニング(FL)の設定において実施することに焦点を当てる。
当社の主なコントリビューションは,各クライアントがローカルかつ独立に行うランダムな参加決定にのみ依存する,Emphrandom Check-in分散プロトコルです。
- 参考スコア(独自算出の注目度): 38.72327434015975
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Differentially Private Stochastic Gradient Descent (DP-SGD) forms a
fundamental building block in many applications for learning over sensitive
data. Two standard approaches, privacy amplification by subsampling, and
privacy amplification by shuffling, permit adding lower noise in DP-SGD than
via na\"{\i}ve schemes. A key assumption in both these approaches is that the
elements in the data set can be uniformly sampled, or be uniformly permuted --
constraints that may become prohibitive when the data is processed in a
decentralized or distributed fashion. In this paper, we focus on conducting
iterative methods like DP-SGD in the setting of federated learning (FL) wherein
the data is distributed among many devices (clients). Our main contribution is
the \emph{random check-in} distributed protocol, which crucially relies only on
randomized participation decisions made locally and independently by each
client. It has privacy/accuracy trade-offs similar to privacy amplification by
subsampling/shuffling. However, our method does not require server-initiated
communication, or even knowledge of the population size. To our knowledge, this
is the first privacy amplification tailored for a distributed learning
framework, and it may have broader applicability beyond FL. Along the way, we
extend privacy amplification by shuffling to incorporate $(\epsilon,\delta)$-DP
local randomizers, and exponentially improve its guarantees. In practical
regimes, this improvement allows for similar privacy and utility using data
from an order of magnitude fewer users.
- Abstract(参考訳): Differentially Private Stochastic Gradient Descent (DP-SGD) は、多くのアプリケーションにおいて、機密データを学習するための基本的な構成要素となっている。
サブサンプリングによるプライバシの増幅とシャッフルによるプライバシの増幅という2つの標準的なアプローチは、na\"{\i}veスキームよりもDP-SGDのノイズの低減を可能にする。
どちらのアプローチでも重要な前提は、データセット内の要素を一様にサンプリングしたり、分散処理や分散処理によって禁止される可能性のある一様に置換したりできるということである。
本稿では,DP-SGDのような反復的な手法を,多くのデバイス(クライアント)に分散したフェデレートラーニング(FL)の設定に適用することに焦点を当てる。
当社の主なコントリビューションは,各クライアントがローカルかつ独立に行うランダムな参加決定にのみ依存する,分散プロトコルのemph{random check-in}です。
プライバシー/精度のトレードオフは、サブサンプリング/シャッフルによるプライバシーの増幅に似ている。
しかし,本手法ではサーバ間通信や人口規模に関する知識は必要としない。
私たちの知る限り、これは分散学習フレームワークに適した初めてのプライバシー強化であり、FLを超えて幅広い適用性を持つ可能性がある。
その過程で、シャッフルすることでプライバシーの増幅を拡張し、$(\epsilon,\delta)$-DPローカルランダム化器を導入し、保証を指数関数的に改善します。
現実的な状況下では、この改善により、桁違いに少ないユーザーからのデータを使って、同様のプライバシーとユーティリティが利用できるようになる。
関連論文リスト
- Private Fine-tuning of Large Language Models with Zeroth-order
Optimization [54.24600476755372]
DP-ZO(DP-ZO)は、ゼロオーダー最適化を民営化し、トレーニングデータのプライバシを保存する、大規模言語モデルを微調整する新しい手法である。
DP-ZOは、SQuADから1000のトレーニングサンプルにOPT-66Bを微調整すると、プライバシが1,10-5)$-DPになるため、わずか1.86%のパフォーマンス低下を示す。
論文 参考訳(メタデータ) (2024-01-09T03:53:59Z) - Randomized Quantization is All You Need for Differential Privacy in
Federated Learning [1.9785872350085876]
量子化と差分プライバシーを組み合わせたフェデレーション学習のアプローチを検討する。
我々は textbfRandomized textbfQuantization textbfMechanism (RQM) と呼ばれる新しいアルゴリズムを開発した。
アルゴリズムの性能を実証的に研究し、これまでの研究と比較すると、プライバシーと精度のトレードオフが改善されていることを示す。
論文 参考訳(メタデータ) (2023-06-20T21:54:13Z) - On Differential Privacy for Federated Learning in Wireless Systems with
Multiple Base Stations [90.53293906751747]
複数の基地局とセル間干渉を持つ無線システムにおける連合学習モデルを考える。
本稿では,学習過程の収束挙動を,その最適性ギャップの上限を導出することによって示す。
提案するスケジューラは,ランダムなスケジューラと比較して予測平均精度を向上する。
論文 参考訳(メタデータ) (2022-08-25T03:37:11Z) - Stronger Privacy Amplification by Shuffling for R\'enyi and Approximate
Differential Privacy [43.33288245778629]
このモデルにおける重要な結果は、ランダムにランダム化されたデータをランダムにシャッフルすると、差分プライバシー保証が増幅されることである。
このような増幅は、匿名でデータが提供されるシステムにおいて、はるかに強力なプライバシー保証を意味する。
本研究では,理論的にも数値的にも,アートプライバシの増幅状態を改善する。
論文 参考訳(メタデータ) (2022-08-09T08:13:48Z) - Privacy Amplification via Shuffling for Linear Contextual Bandits [51.94904361874446]
ディファレンシャルプライバシ(DP)を用いた文脈線形バンディット問題について検討する。
プライバシのシャッフルモデルを利用して,JDP と LDP のプライバシ/ユーティリティトレードオフを実現することができることを示す。
以上の結果から,ローカルプライバシを保ちながらシャッフルモデルを活用することで,JDPとDPのトレードオフを得ることが可能であることが示唆された。
論文 参考訳(メタデータ) (2021-12-11T15:23:28Z) - Don't Generate Me: Training Differentially Private Generative Models
with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。
差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文 参考訳(メタデータ) (2021-11-01T18:10:21Z) - Renyi Differential Privacy of the Subsampled Shuffle Model in
Distributed Learning [7.197592390105457]
クライアントは、プライバシを必要とするサーバとのインタラクションを通じて、学習モデルを反復的に構築する分散学習フレームワークで、プライバシを研究する。
最適化とフェデレートラーニング(FL)パラダイムによって動機付けられ、各ラウンドで少数のデータサンプルがランダムにサブサンプリングされた場合に焦点を当てる。
より強力なローカルプライバシ保証を得るために,各クライアントがローカルディファレンシャル・プライベート(LDP)機構を用いて応答をランダム化するシャッフルプライバシ・モデルを用いてこれを検証した。
論文 参考訳(メタデータ) (2021-07-19T11:43:24Z) - Federated Learning with Sparsification-Amplified Privacy and Adaptive
Optimization [27.243322019117144]
フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。
スパーシフィケーションを増幅した新しいFLフレームワークを提案する。
提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
論文 参考訳(メタデータ) (2020-08-01T20:22:57Z) - Differentially private cross-silo federated learning [16.38610531397378]
厳密なプライバシは、分散機械学習において最重要事項である。
本稿では,いわゆるクロスサイロ・フェデレーション・ラーニング・セッティングにおいて,加算準同型セキュア和プロトコルと差分プライバシーを併用する。
提案手法により,非分散設定に匹敵する予測精度が得られることを示す。
論文 参考訳(メタデータ) (2020-07-10T18:15:10Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳(メタデータ) (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。