論文の概要: Combining Differential Privacy and Byzantine Resilience in Distributed SGD

• arxiv url: http://arxiv.org/abs/2110.03991v4
• Date: Thu, 5 Oct 2023 09:03:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 23:45:45.517703
• Title: Combining Differential Privacy and Byzantine Resilience in Distributed SGD
• Title（参考訳）: 分散SGDにおける差分プライバシーとビザンチンレジリエンスの組み合わせ
• Authors: Rachid Guerraoui, Nirupam Gupta, Rafael Pinot, Sebastien Rouault, and John Stephan
• Abstract要約: 本稿では,分散SGDアルゴリズムが標準パラメータサーバアーキテクチャにおいて,どの程度正確なモデルを学習できるかについて検討する。 特に$(alpha,f)$-Byzantineのレジリエンスに依存しているものは、正直な労働者がDPを強制すると無効となる。
• 参考スコア（独自算出の注目度）: 9.14589517827682
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Privacy and Byzantine resilience (BR) are two crucial requirements of modern-day distributed machine learning. The two concepts have been extensively studied individually but the question of how to combine them effectively remains unanswered. This paper contributes to addressing this question by studying the extent to which the distributed SGD algorithm, in the standard parameter-server architecture, can learn an accurate model despite (a) a fraction of the workers being malicious (Byzantine), and (b) the other fraction, whilst being honest, providing noisy information to the server to ensure differential privacy (DP). We first observe that the integration of standard practices in DP and BR is not straightforward. In fact, we show that many existing results on the convergence of distributed SGD under Byzantine faults, especially those relying on $(\alpha,f)$-Byzantine resilience, are rendered invalid when honest workers enforce DP. To circumvent this shortcoming, we revisit the theory of $(\alpha,f)$-BR to obtain an approximate convergence guarantee. Our analysis provides key insights on how to improve this guarantee through hyperparameter optimization. Essentially, our theoretical and empirical results show that (1) an imprudent combination of standard approaches to DP and BR might be fruitless, but (2) by carefully re-tuning the learning algorithm, we can obtain reasonable learning accuracy while simultaneously guaranteeing DP and BR.
• Abstract（参考訳）: プライバシとビザンチンレジリエンス(BR)は、現代の分散機械学習において重要な要件である。 この2つの概念は個別に広く研究されてきたが、どのように組み合わせるかという問題は未解決のままである。 本稿では, 分散sgdアルゴリズムが, 標準パラメータサーバアーキテクチャにおいて, 正確なモデルをどのように学習できるかを検討することで, この問題への対処に寄与する。 (a)悪意のある労働者のごく一部(ビザンチン) b) もう一つは、正直なところ、差分プライバシー(DP)を確保するためにサーバにノイズの多い情報を提供するものである。 まず,DP と BR における標準プラクティスの統合は容易ではないことを考察する。 実際、ビザンチン断層下の分散sgdの収束に関する既存の結果、特に(\alpha,f)$-byzantineレジリエンスに依存するものの多くは、正直な労働者がdpを強制すると無効にされる。 この欠点を回避するために、近似収束保証を得るために$(\alpha,f)$-BRの理論を再検討する。 我々の分析は、ハイパーパラメータ最適化を通じて、この保証を改善するための重要な洞察を提供する。 その結果,(1) dp と br に対する標準的アプローチの無作為な組み合わせは実効性に乏しいが,(2) 学習アルゴリズムを慎重に再調整することで,dp と br を同時に保証しながら,合理的な学習精度が得られることがわかった。

関連論文リスト

• Augment then Smooth: Reconciling Differential Privacy with Certified Robustness [32.49465965847842]
  標準偏差プライベートモデルトレーニングは,信頼性の高いロバスト性保証を提供するには不十分であることを示す。 本稿では,プライバシとロバスト性の両方を同時に実現する,シンプルで効果的なDP-CERTを提案する。
  論文  参考訳（メタデータ） (2023-06-14T17:52:02Z)
• Practical Differentially Private and Byzantine-resilient Federated Learning [17.237219486602097]
  我々は、プライバシーを守るために、微分プライベート勾配降下法(DP-SGD)アルゴリズムを用いている。 ランダムノイズを利用して、既存のビザンツ攻撃の多くを効果的に拒否するアグリゲーションを構築する。
  論文  参考訳（メタデータ） (2023-04-15T23:30:26Z)
• Differentially-Private Bayes Consistency [70.92545332158217]
  差分プライバシー(DP)を満たすベイズ一貫した学習ルールを構築する。 ほぼ最適なサンプル複雑性を持つ半教師付き環境で,任意のVCクラスをプライベートに学習できることを実証する。
  論文  参考訳（メタデータ） (2022-12-08T11:57:30Z)
• Explicit Tradeoffs between Adversarial and Natural Distributional Robustness [48.44639585732391]
  実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。 本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
  論文  参考訳（メタデータ） (2022-09-15T19:58:01Z)
• Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive Privacy Analysis and Beyond [57.10914865054868]
  垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。 我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
  論文  参考訳（メタデータ） (2022-07-19T05:47:30Z)
• Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
  本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。 エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。 我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
  論文  参考訳（メタデータ） (2022-06-01T00:44:53Z)
• Bridging Differential Privacy and Byzantine-Robustness via Model Aggregation [27.518542543750367]
  本稿では,差分プライバシーとビザンチネロバストネスという,連邦学習における対立する問題に対処することを目的とする。 標準メカニズムは送信DP、エンベロップスエンベロップスエンベロップスエンベロープ(エンベロップスエンベロープ、エンベロープエンベロープアグリゲーション)を追加し、ビザンツ攻撃を防御する。 提案手法の影響は, その頑健なモデルアグリゲーションによって抑制されていることを示す。
  論文  参考訳（メタデータ） (2022-04-29T23:37:46Z)
• Differential Privacy and Byzantine Resilience in SGD: Do They Add Up? [6.614755043607777]
  本研究では,差分プライバシ(DP)と$(alpha,f)$-ビザンチンレジリエンスを併用して,SGD(Gradient Descent)学習アルゴリズムの分散実装が実現可能であるかを検討する。 これらの手法の直接的な構成は、結果のSGDアルゴリズムがMLモデルのパラメータ数に依存することを保証していることを示す。
  論文  参考訳（メタデータ） (2021-02-16T14:10:38Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。