論文の概要: On the Privacy-Robustness-Utility Trilemma in Distributed Learning

• arxiv url: http://arxiv.org/abs/2302.04787v2
• Date: Mon, 29 May 2023 15:27:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 01:36:43.607037
• Title: On the Privacy-Robustness-Utility Trilemma in Distributed Learning
• Title（参考訳）: 分散学習におけるプライバシ-ロバストネス-有効性三補題について
• Authors: Youssef Allouah, Rachid Guerraoui, Nirupam Gupta, Rafael Pinot, John Stephan
• Abstract要約: 本稿では,少数の対向マシンに対してロバスト性を保証するアルゴリズムによって得られた誤差を,まず厳密に解析する。 私たちの分析は、プライバシ、堅牢性、ユーティリティの基本的なトレードオフを示しています。
• 参考スコア（独自算出の注目度）: 7.778461949427662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ubiquity of distributed machine learning (ML) in sensitive public domain applications calls for algorithms that protect data privacy, while being robust to faults and adversarial behaviors. Although privacy and robustness have been extensively studied independently in distributed ML, their synthesis remains poorly understood. We present the first tight analysis of the error incurred by any algorithm ensuring robustness against a fraction of adversarial machines, as well as differential privacy (DP) for honest machines' data against any other curious entity. Our analysis exhibits a fundamental trade-off between privacy, robustness, and utility. To prove our lower bound, we consider the case of mean estimation, subject to distributed DP and robustness constraints, and devise reductions to centralized estimation of one-way marginals. We prove our matching upper bound by presenting a new distributed ML algorithm using a high-dimensional robust aggregation rule. The latter amortizes the dependence on the dimension in the error (caused by adversarial workers and DP), while being agnostic to the statistical properties of the data.
• Abstract（参考訳）: 機密性の高いパブリックドメインアプリケーションにおける分散機械学習(ML)の普及は、データプライバシを保護しつつ、障害や敵の動作に対して堅牢なアルゴリズムを要求する。 プライバシとロバスト性は分散MLでは独立して研究されているが、その合成はあまり理解されていない。 本稿では,一部の敵マシンに対してロバスト性を確保するアルゴリズムや,他の好奇心をそそるエンティティに対して,正直なマシンのデータに対する差分プライバシ(DP)を初めて厳密に分析する。 私たちの分析は、プライバシ、堅牢性、ユーティリティの基本的なトレードオフを示しています。 下限を証明するために,分散dpとロバスト性制約の下で平均推定を行う場合を考察し,一方通行限界の集中的推定への還元を考案する。 我々は,高次元ロバストアグリゲーションルールを用いて,新しい分散MLアルゴリズムを提案することにより,マッチング上界を証明した。 後者は、(敵の労働者とDPによる)誤差の次元への依存を補正するが、データの統計的性質には依存しない。

関連論文リスト

• Federated PCA and Estimation for Spiked Covariance Matrices: Optimal Rates and Efficient Algorithm [19.673557166734977]
  フェデレートラーニング(FL)は、プライバシとデータセキュリティの強化により、機械学習において、近年大きな注目を集めている。 本稿では,分散差分プライバシー制約下でのフェデレーションPCAとスパイク共分散行列の推定について検討する。 我々は、集中サーバの最適レートがローカルクライアントのミニマックスレートの調和平均であることから、収束のミニマックスレートを確立する。
  論文  参考訳（メタデータ） (2024-11-23T21:57:50Z)
• Noise Variance Optimization in Differential Privacy: A Game-Theoretic Approach Through Per-Instance Differential Privacy [7.264378254137811]
  差分プライバシー(DP)は、個人をターゲットデータセットに含めることによる分布の変化を観察することにより、プライバシー損失を測定することができる。 DPは、AppleやGoogleのような業界巨人の機械学習におけるデータセットの保護において際立っている。 本稿では,PDPを制約として提案し,各データインスタンスのプライバシ損失を測定し,個々のインスタンスに適したノイズを最適化する。
  論文  参考訳（メタデータ） (2024-04-24T06:51:16Z)
• TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
  本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。 提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
  論文  参考訳（メタデータ） (2024-02-16T16:41:14Z)
• Bounded and Unbiased Composite Differential Privacy [25.427802467876248]
  差分プライバシ(DP)の目的は、隣接する2つのデータベース間で区別できない出力分布を生成することにより、プライバシを保護することである。 既存のソリューションでは、後処理やトランケーション技術を使ってこの問題に対処しようとしている。 本稿では,合成確率密度関数を用いて有界および非偏りの出力を生成する新しい微分プライベート機構を提案する。
  論文  参考訳（メタデータ） (2023-11-04T04:43:47Z)
• Breaking the Communication-Privacy-Accuracy Tradeoff with $f$-Differential Privacy [51.11280118806893]
  サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。 有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。 より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
  論文  参考訳（メタデータ） (2023-02-19T16:58:53Z)
• Privacy Induces Robustness: Information-Computation Gaps and Sparse Mean Estimation [8.9598796481325]
  本稿では, アルゴリズムと計算複雑性の両面において, 異なる統計問題に対する観測結果について検討する。 プライベートスパース平均推定のための情報計算ギャップを確立する。 また、プライバシーによって引き起こされる情報計算のギャップを、いくつかの統計や学習問題に対して証明する。
  論文  参考訳（メタデータ） (2022-11-01T20:03:41Z)
• Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive Privacy Analysis and Beyond [57.10914865054868]
  垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。 我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
  論文  参考訳（メタデータ） (2022-07-19T05:47:30Z)
• Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
  分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。 データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
  論文  参考訳（メタデータ） (2022-05-08T14:38:23Z)
• Robust and Differentially Private Mean Estimation [40.323756738056616]
  異なるプライバシーは、米国国勢調査から商用デバイスで収集されたデータまで、さまざまなアプリケーションで標準要件として浮上しています。 このようなデータベースの数は、複数のソースからのデータからなり、それらすべてが信頼できるわけではない。 これにより、既存のプライベート分析は、腐敗したデータを注入する敵による攻撃に弱い。
  論文  参考訳（メタデータ） (2021-02-18T05:02:49Z)
• Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
  ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。 すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。 本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
  論文  参考訳（メタデータ） (2020-10-23T10:35:35Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。