論文の概要: Correlated Privacy Mechanisms for Differentially Private Distributed Mean Estimation
- arxiv url: http://arxiv.org/abs/2407.03289v1
- Date: Wed, 3 Jul 2024 17:22:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 13:17:22.458643
- Title: Correlated Privacy Mechanisms for Differentially Private Distributed Mean Estimation
- Title（参考訳）: 個人別分散平均推定のための相関プライバシメカニズム
- Authors: Sajani Vithana, Viveck R. Cadambe, Flavio P. Calmon, Haewon Jeong,
- Abstract要約: CorDP-DMEは、ローカルディファレンシャルプライバシ(LDP)と分散DP(SecAgg)のギャップにまたがる新しいDP-DMEである。
我々はCorDP-DMEの情報理論解析を行い、任意のプライバシパラメータの下での実用性に関する理論的保証を導出する。
- 参考スコア（独自算出の注目度）: 8.660393575612169
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentially private distributed mean estimation (DP-DME) is a fundamental building block in privacy-preserving federated learning, where a central server estimates the mean of $d$-dimensional vectors held by $n$ users while ensuring $(\epsilon,\delta)$-DP. Local differential privacy (LDP) and distributed DP with secure aggregation (SecAgg) are the most common notions of DP used in DP-DME settings with an untrusted server. LDP provides strong resilience to dropouts, colluding users, and malicious server attacks, but suffers from poor utility. In contrast, SecAgg-based DP-DME achieves an $O(n)$ utility gain over LDP in DME, but requires increased communication and computation overheads and complex multi-round protocols to handle dropouts and malicious attacks. In this work, we propose CorDP-DME, a novel DP-DME mechanism that spans the gap between DME with LDP and distributed DP, offering a favorable balance between utility and resilience to dropout and collusion. CorDP-DME is based on correlated Gaussian noise, ensuring DP without the perfect conditional privacy guarantees of SecAgg-based approaches. We provide an information-theoretic analysis of CorDP-DME, and derive theoretical guarantees for utility under any given privacy parameters and dropout/colluding user thresholds. Our results demonstrate that (anti) correlated Gaussian DP mechanisms can significantly improve utility in mean estimation tasks compared to LDP -- even in adversarial settings -- while maintaining better resilience to dropouts and attacks compared to distributed DP.
- Abstract（参考訳）: 差分的プライベート分散平均推定(DP-DME)は、プライバシ保護フェデレーション学習における基本的なビルディングブロックであり、中央サーバは、$(\epsilon,\delta)$-DPを確保しながら、$n$ユーザが保持する$d$次元ベクトルの平均を推定する。
ローカルディファレンシャルプライバシ(LDP)とセキュアアグリゲーション(SecAgg)を備えた分散DPは、信頼できないサーバでDP-DME設定で使用されるDPの最も一般的な概念である。
LDPは、ドロップアウト、ユーザの衝突、悪意のあるサーバー攻撃に対して強力なレジリエンスを提供するが、実用性に乏しい。
対照的に、SecAggベースのDP-DMEは、DMEのLDPよりも$O(n)$ユーティリティゲインを達成するが、通信と計算のオーバーヘッドの増加と、ドロップアウトや悪意のある攻撃を処理する複雑なマルチラウンドプロトコルを必要とする。
本研究では,DPと分散DPのギャップにまたがる新しいDP-DME機構であるCorDP-DMEを提案する。
CorDP-DMEは相関したガウスノイズに基づいており、SecAggベースのアプローチの完全な条件付きプライバシ保証のないDPを保証する。
我々は,CorDP-DMEの情報理論解析を行い,任意のプライバシパラメータの下での実用性に関する理論的保証と,ユーザしきい値のドロップアウト/コンピュレーションを導出する。
その結果、(反)ガウス的DPメカニズムは、(敵対的条件下であっても)LDPと比較して平均推定タスクの有用性を著しく向上し、分散DPと比較して、ドロップアウトやアタックに対するレジリエンスが向上することを示した。
関連論文リスト
- Secure Stateful Aggregation: A Practical Protocol with Applications in Differentially-Private Federated Learning [36.42916779389165]
DP-FTRLベースのアプローチは、すでに業界に広く展開されている。
セキュアなステートフルアグリゲーションを導入します。これは、アグリゲーション値のプライベートストレージを可能にする、単純なアグリゲーションのみのデータ構造です。
DP-FTRLをベースとした私的フェデレーション学習を実現するためには,セキュアなステートフルアグリゲーションが十分である。
論文 参考訳（メタデータ） (2024-10-15T07:45:18Z) - FastLloyd: Federated, Accurate, Secure, and Tunable $k$-Means Clustering with Differential Privacy [26.927356987142407]
本稿では,プライバシー保護のための$k$-meansクラスタリングの問題について検討する。
セキュアな計算を使った既存のアプローチは、かなりのオーバーヘッドに悩まされ、出力のプライバシを提供しない。
計算DPモデルを用いて、4桁の高速化を実現する軽量でセキュアな集約ベースのアプローチを設計する。
論文 参考訳（メタデータ） (2024-05-03T19:04:37Z) - Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。
本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。
従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
論文 参考訳（メタデータ） (2024-05-02T03:48:47Z) - Privacy Amplification for the Gaussian Mechanism via Bounded Support [64.86780616066575]
インスタンスごとの差分プライバシー(pDP)やフィッシャー情報損失(FIL)といったデータ依存のプライバシ会計フレームワークは、固定されたトレーニングデータセット内の個人に対してきめ細かいプライバシー保証を提供する。
本稿では,データ依存会計下でのプライバシ保証を向上することを示すとともに,バウンドサポートによるガウス機構の簡単な修正を提案する。
論文 参考訳（メタデータ） (2024-03-07T21:22:07Z) - Conciliating Privacy and Utility in Data Releases via Individual Differential Privacy and Microaggregation [4.287502453001108]
$epsilon$-Differential Privacy(DP)は、強力なプライバシ保証を提供するよく知られたプライバシモデルである。
被験者にDPと同じ保護を提供しながらデータ歪みを低減させるiDP ($epsilon$-individual differential privacy) を提案する。
本稿では,2次データ解析の精度を著しく低下させることのない保護データを提供しながら,我々のアプローチが強力なプライバシ(小額のepsilon$)を提供することを示す実験について報告する。
論文 参考訳（メタデータ） (2023-12-21T10:23:18Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - Connect the Dots: Tighter Discrete Approximations of Privacy Loss
Distributions [49.726408540784334]
PLDベースの会計の鍵となる問題は、特定の個別サポートに対してPLDと(潜在的に連続的な)PLDをどのように近似するかである。
悲観的推定はすべての悲観的推定の中で最良であることを示す。
論文 参考訳（メタデータ） (2022-07-10T04:25:02Z) - Differentially Private Regret Minimization in Episodic Markov Decision
Processes [6.396288020763144]
差分プライバシー(DP)制約下における有限地平線表型マルコフ決定過程(MDP)の後悔について検討する。
これは、実世界の逐次意思決定問題における強化学習(RL)の広範な応用が動機となっている。
論文 参考訳（メタデータ） (2021-12-20T15:12:23Z) - Differentially Private Federated Bayesian Optimization with Distributed
Exploration [48.9049546219643]
我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。
DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。
また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
論文 参考訳（メタデータ） (2021-10-27T04:11:06Z) - Three Variants of Differential Privacy: Lossless Conversion and
Applications [13.057076084452016]
本稿では,3種類の差分プライバシー(DP),すなわち近似DP,R'enyi RDP,仮説テストについて考察する。
まず, 2 つの$f$-divergences の結合範囲に基づいて, DP と反復を関連付ける機械を開発する。
アプリケーションとして、ノイズ勾配勾配のプライバシー保証を特徴付けるモーメントフレームワークに適用する。
論文 参考訳（メタデータ） (2020-08-14T18:23:50Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。