論文の概要: Privacy Amplification via Random Check-Ins

• arxiv url: http://arxiv.org/abs/2007.06605v2
• Date: Thu, 30 Jul 2020 16:26:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 23:41:22.078233
• Title: Privacy Amplification via Random Check-Ins
• Title（参考訳）: ランダムチェックインによるプライバシー増幅
• Authors: Borja Balle, Peter Kairouz, H. Brendan McMahan, Om Thakkar, Abhradeep Thakurta
• Abstract要約: Differentially Private Gradient Descent (DP-SGD) は、多くのアプリケーションにおいて、機密データを学習するための基本的な構成要素となっている。 本稿では,DP-SGD のような反復的手法を,多くのデバイス(クライアント)に分散したフェデレーションラーニング(FL)の設定において実施することに焦点を当てる。 当社の主なコントリビューションは,各クライアントがローカルかつ独立に行うランダムな参加決定にのみ依存する,Emphrandom Check-in分散プロトコルです。
• 参考スコア（独自算出の注目度）: 38.72327434015975
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Differentially Private Stochastic Gradient Descent (DP-SGD) forms a fundamental building block in many applications for learning over sensitive data. Two standard approaches, privacy amplification by subsampling, and privacy amplification by shuffling, permit adding lower noise in DP-SGD than via na\"{\i}ve schemes. A key assumption in both these approaches is that the elements in the data set can be uniformly sampled, or be uniformly permuted -- constraints that may become prohibitive when the data is processed in a decentralized or distributed fashion. In this paper, we focus on conducting iterative methods like DP-SGD in the setting of federated learning (FL) wherein the data is distributed among many devices (clients). Our main contribution is the \emph{random check-in} distributed protocol, which crucially relies only on randomized participation decisions made locally and independently by each client. It has privacy/accuracy trade-offs similar to privacy amplification by subsampling/shuffling. However, our method does not require server-initiated communication, or even knowledge of the population size. To our knowledge, this is the first privacy amplification tailored for a distributed learning framework, and it may have broader applicability beyond FL. Along the way, we extend privacy amplification by shuffling to incorporate $(\epsilon,\delta)$-DP local randomizers, and exponentially improve its guarantees. In practical regimes, this improvement allows for similar privacy and utility using data from an order of magnitude fewer users.
• Abstract（参考訳）: Differentially Private Stochastic Gradient Descent (DP-SGD) は、多くのアプリケーションにおいて、機密データを学習するための基本的な構成要素となっている。 サブサンプリングによるプライバシの増幅とシャッフルによるプライバシの増幅という2つの標準的なアプローチは、na\"{\i}veスキームよりもDP-SGDのノイズの低減を可能にする。 どちらのアプローチでも重要な前提は、データセット内の要素を一様にサンプリングしたり、分散処理や分散処理によって禁止される可能性のある一様に置換したりできるということである。 本稿では,DP-SGDのような反復的な手法を,多くのデバイス(クライアント)に分散したフェデレートラーニング(FL)の設定に適用することに焦点を当てる。 当社の主なコントリビューションは,各クライアントがローカルかつ独立に行うランダムな参加決定にのみ依存する,分散プロトコルのemph{random check-in}です。 プライバシー/精度のトレードオフは、サブサンプリング/シャッフルによるプライバシーの増幅に似ている。 しかし,本手法ではサーバ間通信や人口規模に関する知識は必要としない。 私たちの知る限り、これは分散学習フレームワークに適した初めてのプライバシー強化であり、FLを超えて幅広い適用性を持つ可能性がある。 その過程で、シャッフルすることでプライバシーの増幅を拡張し、$(\epsilon,\delta)$-DPローカルランダム化器を導入し、保証を指数関数的に改善します。 現実的な状況下では、この改善により、桁違いに少ないユーザーからのデータを使って、同様のプライバシーとユーティリティが利用できるようになる。

関連論文リスト

• DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
  フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。 FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。 このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
  論文  参考訳（メタデータ） (2024-10-21T16:25:14Z)
• Enhanced Privacy Bound for Shuffle Model with Personalized Privacy [32.08637708405314]
  Differential Privacy(DP)は、ローカルユーザと中央データキュレーターの間の中間信頼サーバを導入する、強化されたプライバシプロトコルである。 これは、局所的にランダム化されたデータを匿名化しシャッフルすることで、中央のDP保証を著しく増幅する。 この研究は、各ユーザーごとにパーソナライズされたローカルプライバシを必要とする、より実践的な設定のために、中央のプライバシ境界を導出することに焦点を当てている。
  論文  参考訳（メタデータ） (2024-07-25T16:11:56Z)
• Noise Variance Optimization in Differential Privacy: A Game-Theoretic Approach Through Per-Instance Differential Privacy [7.264378254137811]
  差分プライバシー(DP)は、個人をターゲットデータセットに含めることによる分布の変化を観察することにより、プライバシー損失を測定することができる。 DPは、AppleやGoogleのような業界巨人の機械学習におけるデータセットの保護において際立っている。 本稿では,PDPを制約として提案し,各データインスタンスのプライバシ損失を測定し,個々のインスタンスに適したノイズを最適化する。
  論文  参考訳（メタデータ） (2024-04-24T06:51:16Z)
• How Private are DP-SGD Implementations? [61.19794019914523]
  2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-26T13:02:43Z)
• A Generalized Shuffle Framework for Privacy Amplification: Strengthening Privacy Guarantees and Enhancing Utility [4.7712438974100255]
  パーソナライズされたプライバシパラメータで$(epsilon_i,delta_i)$-PLDP設定をシャッフルする方法を示す。 shuffled $(epsilon_i,delta_i)$-PLDP process approximately saves $mu$-Gaussian Differential Privacy with mu = sqrtfrac2sum_i=1n frac1-delta_i1+eepsilon_i-max_ifrac1-delta_i1+e
  論文  参考訳（メタデータ） (2023-12-22T02:31:46Z)
• Randomized Quantization is All You Need for Differential Privacy in Federated Learning [1.9785872350085876]
  量子化と差分プライバシーを組み合わせたフェデレーション学習のアプローチを検討する。 我々は textbfRandomized textbfQuantization textbfMechanism (RQM) と呼ばれる新しいアルゴリズムを開発した。 アルゴリズムの性能を実証的に研究し、これまでの研究と比較すると、プライバシーと精度のトレードオフが改善されていることを示す。
  論文  参考訳（メタデータ） (2023-06-20T21:54:13Z)
• On Differential Privacy for Federated Learning in Wireless Systems with Multiple Base Stations [90.53293906751747]
  複数の基地局とセル間干渉を持つ無線システムにおける連合学習モデルを考える。 本稿では,学習過程の収束挙動を,その最適性ギャップの上限を導出することによって示す。 提案するスケジューラは,ランダムなスケジューラと比較して予測平均精度を向上する。
  論文  参考訳（メタデータ） (2022-08-25T03:37:11Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• Differentially private cross-silo federated learning [16.38610531397378]
  厳密なプライバシは、分散機械学習において最重要事項である。 本稿では,いわゆるクロスサイロ・フェデレーション・ラーニング・セッティングにおいて,加算準同型セキュア和プロトコルと差分プライバシーを併用する。 提案手法により,非分散設定に匹敵する予測精度が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-10T18:15:10Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。