論文の概要: Correlated Privacy Mechanisms for Differentially Private Distributed Mean Estimation
- arxiv url: http://arxiv.org/abs/2407.03289v2
- Date: Wed, 08 Jan 2025 18:20:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-09 14:53:41.410697
- Title: Correlated Privacy Mechanisms for Differentially Private Distributed Mean Estimation
- Title（参考訳）: 個人別分散平均推定のための相関プライバシメカニズム
- Authors: Sajani Vithana, Viveck R. Cadambe, Flavio P. Calmon, Haewon Jeong,
- Abstract要約: ローカルディファレンシャルプライバシ(LDP)とセキュアアグリゲーション(SA)を備えた分散DPは、信頼できないサーバでDP-DME設定で使用されるDPの最も一般的な概念である。
LDPは、ドロップアウト、ユーザの衝突、敵の攻撃に対して強力なレジリエンスを提供するが、実用性に乏しい。
本研究では,DP-DME を極端ケースとして LDP と SA-based のメカニズムをキャプチャする,汎用的な DP-DME フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 8.660393575612169
- License:
- Abstract: Differentially private distributed mean estimation (DP-DME) is a fundamental building block in privacy-preserving federated learning, where a central server estimates the mean of $d$-dimensional vectors held by $n$ users while ensuring $(\epsilon,\delta)$-DP. Local differential privacy (LDP) and distributed DP with secure aggregation (SA) are the most common notions of DP used in DP-DME settings with an untrusted server. LDP provides strong resilience to dropouts, colluding users, and adversarial attacks, but suffers from poor utility. In contrast, SA-based DP-DME achieves an $O(n)$ utility gain over LDP in DME, but requires increased communication and computation overheads and complex multi-round protocols to handle dropouts and attacks. In this work, we present a generalized framework for DP-DME, that captures LDP and SA-based mechanisms as extreme cases. Our framework provides a foundation for developing and analyzing a variety of DP-DME protocols that leverage correlated privacy mechanisms across users. To this end, we propose CorDP-DME, a novel DP-DME mechanism based on the correlated Gaussian mechanism, that spans the gap between DME with LDP and distributed DP. We prove that CorDP-DME offers a favorable balance between utility and resilience to dropout and collusion. We provide an information-theoretic analysis of CorDP-DME, and derive theoretical guarantees for utility under any given privacy parameters and dropout/colluding user thresholds. Our results demonstrate that (anti) correlated Gaussian DP mechanisms can significantly improve utility in mean estimation tasks compared to LDP -- even in adversarial settings -- while maintaining better resilience to dropouts and attacks compared to distributed DP.
- Abstract（参考訳）: 差分的プライベート分散平均推定(DP-DME)は、プライバシ保護フェデレーション学習における基本的なビルディングブロックであり、中央サーバは、$(\epsilon,\delta)$-DPを確保しながら、$n$ユーザが保持する$d$次元ベクトルの平均を推定する。
ローカルディファレンシャルプライバシ(LDP)とセキュアアグリゲーション(SA)を備えた分散DPは、信頼できないサーバでDP-DME設定で使用されるDPの最も一般的な概念である。
LDPは、ドロップアウト、ユーザの衝突、敵の攻撃に対して強力なレジリエンスを提供するが、実用性に乏しい。
対照的に、SA-based DP-DME は DME において LDP よりも$O(n)$ユーティリティゲインを達成するが、通信と計算のオーバーヘッドが増大し、ドロップアウトやアタックを処理する複雑なマルチラウンドプロトコルが必要になる。
本研究では,DP-DME を極端ケースとして LDP と SA-based のメカニズムをキャプチャする,汎用的な DP-DME フレームワークを提案する。
当社のフレームワークは,ユーザ間で相関するプライバシ機構を利用するDP-DMEプロトコルを開発し,分析するための基盤を提供する。
そこで本研究では,DME と LDP のギャップを埋める新しい DP-DME 機構である CorDP-DME を提案する。
我々は,CorDP-DMEが,脱落と共謀に対する実用性とレジリエンスのバランスを良好に保っていることを証明した。
我々は,CorDP-DMEの情報理論解析を行い,任意のプライバシパラメータの下での実用性に関する理論的保証と,ユーザしきい値のドロップアウト/コンピュレーションを導出する。
その結果、(反)ガウス的DPメカニズムは、(敵対的条件下であっても)LDPと比較して平均推定タスクの有用性を著しく向上し、分散DPと比較して、ドロップアウトやアタックに対するレジリエンスが向上することを示した。
関連論文リスト
- DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。
FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。
このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
論文 参考訳（メタデータ） (2024-10-21T16:25:14Z) - Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。
本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。
従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
論文 参考訳（メタデータ） (2024-05-02T03:48:47Z) - How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。
その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-03-26T13:02:43Z) - Budget Recycling Differential Privacy [5.603278701712346]
幅広いDPメカニズムに対してソフトバウンドノイズ出力を提供するために設計された予算リサイクル微分プライバシー(BR-DP)フレームワーク。
BR-DPは2つのコンポーネントから構成される: 繰り返しごとにノイズの答えを生成するDPカーネルと、ノイズの答えを確率論的にリサイクルまたは再生するリサイクル器である。
論文 参考訳（メタデータ） (2024-03-18T03:43:45Z) - Privacy Amplification for the Gaussian Mechanism via Bounded Support [64.86780616066575]
インスタンスごとの差分プライバシー(pDP)やフィッシャー情報損失(FIL)といったデータ依存のプライバシ会計フレームワークは、固定されたトレーニングデータセット内の個人に対してきめ細かいプライバシー保証を提供する。
本稿では,データ依存会計下でのプライバシ保証を向上することを示すとともに,バウンドサポートによるガウス機構の簡単な修正を提案する。
論文 参考訳（メタデータ） (2024-03-07T21:22:07Z) - DP-BREM: Differentially-Private and Byzantine-Robust Federated Learning with Client Momentum [11.68347496182345]
フェデレートラーニング(FL)は、複数の参加するクライアントが機械学習モデルを協調的にトレーニングすることを可能にする。
既存のFLプロトコルは、データのプライバシやモデルの堅牢性を損なうような攻撃に対して脆弱である。
我々は,クロスサイロFLにおける差分プライバシ(DP)とビザンチンの堅牢性を同時に達成することに注力する。
論文 参考訳（メタデータ） (2023-06-22T00:11:53Z) - DPIS: An Enhanced Mechanism for Differentially Private SGD with Importance Sampling [23.8561225168394]
ディファレンシャルプライバシ(DP)は、プライバシ保護の十分に受け入れられた標準となり、ディープニューラルネットワーク(DNN)は、機械学習において非常に成功した。
この目的のための古典的なメカニズムはDP-SGDであり、これは訓練に一般的に使用される勾配降下(SGD)の微分プライベートバージョンである。
DPISは,DP-SGDのコアのドロップイン代替として使用できる,微分プライベートなSGDトレーニングのための新しいメカニズムである。
論文 参考訳（メタデータ） (2022-10-18T07:03:14Z) - Connect the Dots: Tighter Discrete Approximations of Privacy Loss
Distributions [49.726408540784334]
PLDベースの会計の鍵となる問題は、特定の個別サポートに対してPLDと(潜在的に連続的な)PLDをどのように近似するかである。
悲観的推定はすべての悲観的推定の中で最良であることを示す。
論文 参考訳（メタデータ） (2022-07-10T04:25:02Z) - Differentially Private Regret Minimization in Episodic Markov Decision
Processes [6.396288020763144]
差分プライバシー(DP)制約下における有限地平線表型マルコフ決定過程(MDP)の後悔について検討する。
これは、実世界の逐次意思決定問題における強化学習(RL)の広範な応用が動機となっている。
論文 参考訳（メタデータ） (2021-12-20T15:12:23Z) - Differentially Private Federated Bayesian Optimization with Distributed
Exploration [48.9049546219643]
我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。
DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。
また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
論文 参考訳（メタデータ） (2021-10-27T04:11:06Z) - Three Variants of Differential Privacy: Lossless Conversion and
Applications [13.057076084452016]
本稿では,3種類の差分プライバシー(DP),すなわち近似DP,R'enyi RDP,仮説テストについて考察する。
まず, 2 つの$f$-divergences の結合範囲に基づいて, DP と反復を関連付ける機械を開発する。
アプリケーションとして、ノイズ勾配勾配のプライバシー保証を特徴付けるモーメントフレームワークに適用する。
論文 参考訳（メタデータ） (2020-08-14T18:23:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。