論文の概要: The Privacy Power of Correlated Noise in Decentralized Learning

• arxiv url: http://arxiv.org/abs/2405.01031v1
• Date: Thu, 2 May 2024 06:14:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 17:43:16.613606
• Title: The Privacy Power of Correlated Noise in Decentralized Learning
• Title（参考訳）: 分散学習における相関ノイズのプライバシパワー
• Authors: Youssef Allouah, Anastasia Koloskova, Aymane El Firdoussi, Martin Jaggi, Rachid Guerraoui,
• Abstract要約: 我々は、分散化されたSGDの変種であるDecorを提案する。 我々はSecLDPの下で、ローカルDPを緩和し、外部の盗聴者や好奇心をそそるユーザーからすべてのユーザー通信を保護する。
• 参考スコア（独自算出の注目度）: 39.48990597191246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized learning is appealing as it enables the scalable usage of large amounts of distributed data and resources (without resorting to any central entity), while promoting privacy since every user minimizes the direct exposure of their data. Yet, without additional precautions, curious users can still leverage models obtained from their peers to violate privacy. In this paper, we propose Decor, a variant of decentralized SGD with differential privacy (DP) guarantees. Essentially, in Decor, users securely exchange randomness seeds in one communication round to generate pairwise-canceling correlated Gaussian noises, which are injected to protect local models at every communication round. We theoretically and empirically show that, for arbitrary connected graphs, Decor matches the central DP optimal privacy-utility trade-off. We do so under SecLDP, our new relaxation of local DP, which protects all user communications against an external eavesdropper and curious users, assuming that every pair of connected users shares a secret, i.e., an information hidden to all others. The main theoretical challenge is to control the accumulation of non-canceling correlated noise due to network sparsity. We also propose a companion SecLDP privacy accountant for public use.
• Abstract（参考訳）: 分散学習は、大量の分散データやリソース(中央のエンティティを使わずに)のスケーラブルな使用を可能にすると同時に、すべてのユーザがデータの直接的な露出を最小限に抑えるため、プライバシの促進を可能にするため、魅力的である。 しかし、追加の予防措置がなければ、好奇心が強いユーザーは、自分の仲間から得たモデルを利用してプライバシーを侵害することができる。 本稿では,DP(差分プライバシー)保証付き分散SGDの変種であるDecorを提案する。 本質的には、ユーザーは1つの通信ラウンドでランダムなシードを安全に交換し、各通信ラウンドにおけるローカルモデルを保護するために注入されるペアワイズ関連ガウスノイズを生成する。 我々は、任意の連結グラフに対して、DecorがDPの最適プライバシーユーティリティトレードオフと一致することを理論的および実証的に示す。 私たちはSecLDPの下で、すべてのユーザ通信を外部の盗聴者や好奇心の強いユーザから保護し、すべての接続されたユーザが秘密、すなわち他のすべてのユーザに隠された情報を共有することを前提に、新しいローカルDPの緩和を行いました。 主な理論的課題は、ネットワークの間隔による非キャンセリング相関ノイズの蓄積を制御することである。 また、公共利用のためのSecLDPプライバシー会計士を提案する。

関連論文リスト

• Enhanced Privacy Bound for Shuffle Model with Personalized Privacy [32.08637708405314]
  Differential Privacy(DP)は、ローカルユーザと中央データキュレーターの間の中間信頼サーバを導入する、強化されたプライバシプロトコルである。 これは、局所的にランダム化されたデータを匿名化しシャッフルすることで、中央のDP保証を著しく増幅する。 この研究は、各ユーザーごとにパーソナライズされたローカルプライバシを必要とする、より実践的な設定のために、中央のプライバシ境界を導出することに焦点を当てている。
  論文  参考訳（メタデータ） (2024-07-25T16:11:56Z)
• Privacy Preserving Semi-Decentralized Mean Estimation over Intermittently-Connected Networks [59.43433767253956]
  信頼できない無線ネットワークの異なるノードに分散するベクトルの平均をプライベートに推定する問題を考える。 半分散的なセットアップでは、ノードは隣人と協力してローカルコンセンサスを計算し、中央サーバにリレーする。 ノード間のデータ共有による協調中継とプライバシー漏洩のトレードオフについて検討する。
  論文  参考訳（メタデータ） (2024-06-06T06:12:15Z)
• Group Decision-Making among Privacy-Aware Agents [2.4401219403555814]
  個人のプライバシーを維持し、効果的な社会学習を可能にすることはどちらも重要なデシダータであるが、基本的には互いに相反しているように見える。 差分プライバシー(DP)に基づく厳密な統計的保証を用いて情報漏洩を制御する。 その結果,グループ意思決定の結果の質,学習精度,通信コスト,エージェントが備えているプライバシー保護の水準の両面でのトレードオフの性質が明らかになった。
  論文  参考訳（メタデータ） (2024-02-13T01:38:01Z)
• Blink: Link Local Differential Privacy in Graph Neural Networks via Bayesian Estimation [79.64626707978418]
  分散ノード上でのリンクローカル差分プライバシーを用いてグラフニューラルネットワークをトレーニングする。 当社のアプローチでは、グラフトポロジをより悪用するために、グラフのリンクと学位を別々に、プライバシ予算に費やしています。 当社のアプローチは、様々なプライバシー予算の下での精度において、既存の手法よりも優れています。
  論文  参考訳（メタデータ） (2023-09-06T17:53:31Z)
• Breaking the Communication-Privacy-Accuracy Tradeoff with $f$-Differential Privacy [51.11280118806893]
  サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。 有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。 より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
  論文  参考訳（メタデータ） (2023-02-19T16:58:53Z)
• Muffliato: Peer-to-Peer Privacy Amplification for Decentralized Optimization and Averaging [20.39986955578245]
  ローカルディファレンシャルプライバシ(LDP)の緩和であるペアワイズネットワークディファレンシャルプライバシを導入する。 我々は、局所勾配降下ステップとゴシップ平均化を交互に交互に行う、微分プライベートな分散最適化アルゴリズムを導出する。 我々のアルゴリズムは,グラフ内のノード間距離の関数として,プライバシー保証を増幅することを示す。
  論文  参考訳（メタデータ） (2022-06-10T13:32:35Z)
• Mitigating Leakage from Data Dependent Communications in Decentralized Computing using Differential Privacy [1.911678487931003]
  本稿では,ユーザ側分散計算における通信データ依存性を制御する汎用実行モデルを提案する。 私たちの公式なプライバシー保証は、シャッフルによるプライバシーの増幅に関する最近の結果を活用し、拡張します。
  論文  参考訳（メタデータ） (2021-12-23T08:30:17Z)
• Privacy Amplification via Shuffling for Linear Contextual Bandits [51.94904361874446]
  ディファレンシャルプライバシ(DP)を用いた文脈線形バンディット問題について検討する。 プライバシのシャッフルモデルを利用して,JDP と LDP のプライバシ/ユーティリティトレードオフを実現することができることを示す。 以上の結果から,ローカルプライバシを保ちながらシャッフルモデルを活用することで,JDPとDPのトレードオフを得ることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-11T15:23:28Z)
• Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
  ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。 すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。 本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
  論文  参考訳（メタデータ） (2020-10-23T10:35:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。