論文の概要: Shuffled Check-in: Privacy Amplification towards Practical Distributed
Learning
- arxiv url: http://arxiv.org/abs/2206.03151v1
- Date: Tue, 7 Jun 2022 09:55:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-09 00:04:16.425031
- Title: Shuffled Check-in: Privacy Amplification towards Practical Distributed
Learning
- Title（参考訳）: Shuffled Check-in: 実践的な分散学習へのプライバシ増幅
- Authors: Seng Pei Liew, Satoshi Hasegawa, Tsubasa Takahashi
- Abstract要約: シャッフルチェックインのR'enyi差分プライバシー(RDP)を特徴付ける新しいツールを提案する。
提案手法は,DPの強い構成を用いた場合に比べて,プライバシー保証の少なくとも3倍の精度が向上することを示す。
分散勾配降下を含む汎用シャッフルチェックイン機構のプライバシを追跡するアプローチを提案する。
- 参考スコア（独自算出の注目度）: 2.3333090554192615
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent studies of distributed computation with formal privacy guarantees,
such as differentially private (DP) federated learning, leverage random
sampling of clients in each round (privacy amplification by subsampling) to
achieve satisfactory levels of privacy. Achieving this however requires strong
assumptions which may not hold in practice, including precise and uniform
subsampling of clients, and a highly trusted aggregator to process clients'
data. In this paper, we explore a more practical protocol, shuffled check-in,
to resolve the aforementioned issues. The protocol relies on client making
independent and random decision to participate in the computation, freeing the
requirement of server-initiated subsampling, and enabling robust modelling of
client dropouts. Moreover, a weaker trust model known as the shuffle model is
employed instead of using a trusted aggregator. To this end, we introduce new
tools to characterize the R\'enyi differential privacy (RDP) of shuffled
check-in. We show that our new techniques improve at least three times in
privacy guarantee over those using approximate DP's strong composition at
various parameter regimes. Furthermore, we provide a numerical approach to
track the privacy of generic shuffled check-in mechanism including distributed
stochastic gradient descent (SGD) with Gaussian mechanism. To the best of our
knowledge, this is also the first evaluation of Gaussian mechanism within the
local/shuffle model under the distributed setting in the literature, which can
be of independent interest.
- Abstract（参考訳）: 差分プライベート(DP)フェデレーション学習などの形式的プライバシ保証を伴う分散計算の最近の研究は、各ラウンドにおけるクライアントのランダムサンプリング(サブサンプリングによるプライバシ増幅)を活用して、良好なプライバシレベルを達成する。
しかし、これを達成するには、クライアントの正確かつ均一なサブサンプリングや、クライアントのデータを処理する高度に信頼された集約子など、実際に保持できない強い仮定が必要となる。
本稿では、上記の問題を解決するためのより実用的なプロトコルであるシャッフルチェックインについて検討する。
このプロトコルは、クライアントが独立でランダムな決定をして計算に参加し、サーバが起動するサブサンプリングの要件を解放し、クライアントのドロップアウトの堅牢なモデリングを可能にする。
さらに、信頼できるアグリゲータを使う代わりに、シャッフルモデルとして知られる弱い信頼モデルを採用する。
そこで我々は,シャッフルチェックインのR'enyi差分プライバシー(RDP)を特徴付ける新しいツールを提案する。
提案手法は,様々なパラメータ構成におけるdpの強固な構成を用いて,プライバシ保証を少なくとも3回改善することを示す。
さらに,gaussian機構を用いた分散確率勾配降下(sgd)を含む一般シャッフルチェックイン機構のプライバシを追跡する数値的手法を提案する。
我々の知る限りでは、これは文学における分散環境下でのローカル/シャッフルモデルにおけるガウス的メカニズムの初めての評価であり、これは独立した関心を持つことができる。
関連論文リスト
- Auditing $f$-Differential Privacy in One Run [43.34594422920125]
実証監査は、プライバシ保護アルゴリズムの実装におけるいくつかの欠陥をキャッチする手段として登場した。
本稿では,メカニズムのプライバシを効果的に評価できる,厳密で効率的な監査手順と分析法を提案する。
論文 参考訳（メタデータ） (2024-10-29T17:02:22Z) - Enhanced Privacy Bound for Shuffle Model with Personalized Privacy [32.08637708405314]
Differential Privacy(DP)は、ローカルユーザと中央データキュレーターの間の中間信頼サーバを導入する、強化されたプライバシプロトコルである。
これは、局所的にランダム化されたデータを匿名化しシャッフルすることで、中央のDP保証を著しく増幅する。
この研究は、各ユーザーごとにパーソナライズされたローカルプライバシを必要とする、より実践的な設定のために、中央のプライバシ境界を導出することに焦点を当てている。
論文 参考訳（メタデータ） (2024-07-25T16:11:56Z) - Unified Mechanism-Specific Amplification by Subsampling and Group Privacy Amplification [54.1447806347273]
サブサンプリングによる増幅は、差分プライバシーを持つ機械学習の主要なプリミティブの1つである。
本稿では、メカニズム固有の保証を導出するための最初の一般的なフレームワークを提案する。
サブサンプリングが複数のユーザのプライバシに与える影響を分析する。
論文 参考訳（メタデータ） (2024-03-07T19:36:05Z) - A Randomized Approach for Tight Privacy Accounting [63.67296945525791]
推定検証リリース(EVR)と呼ばれる新しい差分プライバシーパラダイムを提案する。
EVRパラダイムは、まずメカニズムのプライバシパラメータを推定し、その保証を満たすかどうかを確認し、最後にクエリ出力を解放する。
我々の実証的な評価は、新たに提案されたEVRパラダイムが、プライバシ保護機械学習のユーティリティプライバシトレードオフを改善することを示している。
論文 参考訳（メタデータ） (2023-04-17T00:38:01Z) - Breaking the Communication-Privacy-Accuracy Tradeoff with
$f$-Differential Privacy [51.11280118806893]
サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。
有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。
より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
論文 参考訳（メタデータ） (2023-02-19T16:58:53Z) - Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
プライベート機械学習では、既存の監査メカニズムは厳格である。
彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。
我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
論文 参考訳（メタデータ） (2023-02-15T21:40:33Z) - Debugging Differential Privacy: A Case Study for Privacy Auditing [60.87570714269048]
監査は、微分プライベートなスキームの欠陥を見つけるためにも利用できることを示す。
このケーススタディでは、微分プライベートなディープラーニングアルゴリズムの最近のオープンソース実装を監査し、99.9999999999%の信頼を得て、この実装が要求される差分プライバシー保証を満たさないことを発見した。
論文 参考訳（メタデータ） (2022-02-24T17:31:08Z) - Uniformity Testing in the Shuffle Model: Simpler, Better, Faster [0.0]
均一性テスト(英: Uniformity testing)または独立した観察が均一に分散されているかどうかをテストすることは、分散テストにおける問題である。
本研究では,シャッフルモデルにおける既知の一様性試験アルゴリズムの解析を大幅に単純化する。
論文 参考訳（メタデータ） (2021-08-20T03:43:12Z) - Renyi Differential Privacy of the Subsampled Shuffle Model in
Distributed Learning [7.197592390105457]
クライアントは、プライバシを必要とするサーバとのインタラクションを通じて、学習モデルを反復的に構築する分散学習フレームワークで、プライバシを研究する。
最適化とフェデレートラーニング(FL)パラダイムによって動機付けられ、各ラウンドで少数のデータサンプルがランダムにサブサンプリングされた場合に焦点を当てる。
より強力なローカルプライバシ保証を得るために,各クライアントがローカルディファレンシャル・プライベート(LDP)機構を用いて応答をランダム化するシャッフルプライバシ・モデルを用いてこれを検証した。
論文 参考訳（メタデータ） (2021-07-19T11:43:24Z) - The Distributed Discrete Gaussian Mechanism for Federated Learning with
Secure Aggregation [28.75998313625891]
本稿では,データを適切に識別し,セキュアアグリゲーションを行う前に離散ガウス雑音を付加する総合的なエンドツーエンドシステムを提案する。
私達の理論的保証はコミュニケーション、プライバシーおよび正確さ間の複雑な緊張を強調します。
論文 参考訳（メタデータ） (2021-02-12T08:20:18Z) - Private Prediction Sets [72.75711776601973]
機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。
これら2つのデシラタを共同で扱う枠組みを提案する。
本手法を大規模コンピュータビジョンデータセット上で評価する。
論文 参考訳（メタデータ） (2021-02-11T18:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。