Fugu-MT 論文翻訳(概要): Renyi Differential Privacy of the Subsampled Shuffle Model in Distributed Learning

論文の概要: Renyi Differential Privacy of the Subsampled Shuffle Model in Distributed Learning

arxiv url: http://arxiv.org/abs/2107.08763v1
Date: Mon, 19 Jul 2021 11:43:24 GMT
ステータス: 処理完了
システム内更新日: 2021-07-20 21:24:58.730203
Title: Renyi Differential Privacy of the Subsampled Shuffle Model in Distributed Learning
Title（参考訳）: 分散学習におけるサブサンプルシャッフルモデルのRenyi差分プライバシー
Authors: Antonious M. Girgis, Deepesh Data, Suhas Diggavi
Abstract要約: クライアントは、プライバシを必要とするサーバとのインタラクションを通じて、学習モデルを反復的に構築する分散学習フレームワークで、プライバシを研究する。最適化とフェデレートラーニング(FL)パラダイムによって動機付けられ、各ラウンドで少数のデータサンプルがランダムにサブサンプリングされた場合に焦点を当てる。より強力なローカルプライバシ保証を得るために,各クライアントがローカルディファレンシャル・プライベート(LDP)機構を用いて応答をランダム化するシャッフルプライバシ・モデルを用いてこれを検証した。
参考スコア（独自算出の注目度）: 7.197592390105457
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: We study privacy in a distributed learning framework, where clients collaboratively build a learning model iteratively through interactions with a server from whom we need privacy. Motivated by stochastic optimization and the federated learning (FL) paradigm, we focus on the case where a small fraction of data samples are randomly sub-sampled in each round to participate in the learning process, which also enables privacy amplification. To obtain even stronger local privacy guarantees, we study this in the shuffle privacy model, where each client randomizes its response using a local differentially private (LDP) mechanism and the server only receives a random permutation (shuffle) of the clients' responses without their association to each client. The principal result of this paper is a privacy-optimization performance trade-off for discrete randomization mechanisms in this sub-sampled shuffle privacy model. This is enabled through a new theoretical technique to analyze the Renyi Differential Privacy (RDP) of the sub-sampled shuffle model. We numerically demonstrate that, for important regimes, with composition our bound yields significant improvement in privacy guarantee over the state-of-the-art approximate Differential Privacy (DP) guarantee (with strong composition) for sub-sampled shuffled models. We also demonstrate numerically significant improvement in privacy-learning performance operating point using real data sets.
Abstract（参考訳）: 我々は,プライバシを必要とするサーバとのインタラクションを通じて,クライアントが反復的に学習モデルを構築できる分散学習フレームワークでプライバシを研究する。確率的最適化とフェデレートラーニング(FL)パラダイムによって動機付けられ、各ラウンドに少数のデータサンプルをランダムにサブサンプリングして学習プロセスに参加する場合に焦点を当て、プライバシーの増幅を可能にする。さらに強力なローカルプライバシ保証を得るため、各クライアントがローカル差分プライベート(ldp)メカニズムを使用して応答をランダム化し、各クライアントに関連付けることなくクライアントの応答のランダムな置換(シャッフル)のみをサーバが受信する、shuffle privacy model(シャッフルプライバシモデル)で研究する。本研究の主な成果は,サブサンプルシャッフルプライバシーモデルにおける離散ランダム化機構に対するプライバシー最適化性能トレードオフである。これは、サブサンプルシャッフルモデルのRenyi差分プライバシー(RDP)を解析するための新しい理論的手法によって実現されている。我々は、重要な体制において、我々の限定的な構成によって、サブサンプルシャッフルモデルに対する(強い構成で)最先端の近似微分プライバシ(DP)に対するプライバシー保証が大幅に改善されることを数値的に示す。また,実データを用いたプライバシ学習性能の運用点の数値的改善を示す。

関連論文リスト

Federated Face Forgery Detection Learning with Personalized Representation [63.90408023506508]
ディープジェネレータ技術は、区別がつかない高品質のフェイクビデオを制作し、深刻な社会的脅威をもたらす可能性がある。従来の偽造検出手法は、データを直接集中的に訓練する。本稿では,個人化表現を用いた新しいフェデレーション顔偽造検出学習を提案する。
論文参考訳（メタデータ） (2024-06-17T02:20:30Z)
Share Your Representation Only: Guaranteed Improvement of the Privacy-Utility Tradeoff in Federated Learning [47.042811490685324]
この情報漏洩のリスクを減らし、最先端の差分プライベートアルゴリズムを使っても、無料ではない。本稿では,異なるプライバシ保証を持つフェデレーションモデルにおいて,様々な当事者が協調的に洗練する表現学習の目的について考察する。同じ小さなプライバシ予算の下で、以前の作業よりも大幅にパフォーマンスが向上するのを観察する。
論文参考訳（メタデータ） (2023-09-11T14:46:55Z)
FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文参考訳（メタデータ） (2023-06-25T13:38:51Z)
Randomized Quantization is All You Need for Differential Privacy in Federated Learning [1.9785872350085876]
量子化と差分プライバシーを組み合わせたフェデレーション学習のアプローチを検討する。我々は textbfRandomized textbfQuantization textbfMechanism (RQM) と呼ばれる新しいアルゴリズムを開発した。アルゴリズムの性能を実証的に研究し、これまでの研究と比較すると、プライバシーと精度のトレードオフが改善されていることを示す。
論文参考訳（メタデータ） (2023-06-20T21:54:13Z)
Stronger Privacy Amplification by Shuffling for R\'enyi and Approximate Differential Privacy [43.33288245778629]
このモデルにおける重要な結果は、ランダムにランダム化されたデータをランダムにシャッフルすると、差分プライバシー保証が増幅されることである。このような増幅は、匿名でデータが提供されるシステムにおいて、はるかに強力なプライバシー保証を意味する。本研究では,理論的にも数値的にも,アートプライバシの増幅状態を改善する。
論文参考訳（メタデータ） (2022-08-09T08:13:48Z)
Smooth Anonymity for Sparse Graphs [69.1048938123063]
しかし、スパースデータセットを共有するという点では、差分プライバシーがプライバシのゴールドスタンダードとして浮上している。本研究では、スムーズな$k$匿名性(スムーズな$k$匿名性)と、スムーズな$k$匿名性(スムーズな$k$匿名性)を提供する単純な大規模アルゴリズムを設計する。
論文参考訳（メタデータ） (2022-07-13T17:09:25Z)
Personalization Improves Privacy-Accuracy Tradeoffs in Federated Optimization [57.98426940386627]
局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。合成および実世界のデータセットに関する実験により理論的結果について述べる。
論文参考訳（メタデータ） (2022-02-10T20:44:44Z)
Uniformity Testing in the Shuffle Model: Simpler, Better, Faster [0.0]
均一性テスト(英: Uniformity testing)または独立した観察が均一に分散されているかどうかをテストすることは、分散テストにおける問題である。本研究では,シャッフルモデルにおける既知の一様性試験アルゴリズムの解析を大幅に単純化する。
論文参考訳（メタデータ） (2021-08-20T03:43:12Z)
Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文参考訳（メタデータ） (2021-06-25T14:47:19Z)
On the Renyi Differential Privacy of the Shuffle Model [25.052851351062845]
シャッフルモデルでは、各$n$クライアントはローカル差分プライベート(LDP)メカニズムを使用してレスポンスをランダム化し、信頼できないサーバは各クライアントに関連付けることなくクライアントレスポンスのランダムな置換(シャッフル)のみを受け取ります。本稿では,シャッフルドプライバシモデルにおける一般離散局所ランダム化機構に対する最初の非自明な保証について述べる。
論文参考訳（メタデータ） (2021-05-11T16:34:09Z)
Privacy Amplification via Random Check-Ins [38.72327434015975]
Differentially Private Gradient Descent (DP-SGD) は、多くのアプリケーションにおいて、機密データを学習するための基本的な構成要素となっている。本稿では,DP-SGD のような反復的手法を,多くのデバイス(クライアント)に分散したフェデレーションラーニング(FL)の設定において実施することに焦点を当てる。当社の主なコントリビューションは,各クライアントがローカルかつ独立に行うランダムな参加決定にのみ依存する,Emphrandom Check-in分散プロトコルです。
論文参考訳（メタデータ） (2020-07-13T18:14:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。