論文の概要: Differential Privacy and Byzantine Resilience in SGD: Do They Add Up?

• arxiv url: http://arxiv.org/abs/2102.08166v1
• Date: Tue, 16 Feb 2021 14:10:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 14:46:12.937746
• Title: Differential Privacy and Byzantine Resilience in SGD: Do They Add Up?
• Title（参考訳）: SGDの異なるプライバシーとビザンチン耐性:彼らは追加しますか?
• Authors: Rachid Guerraoui, Nirupam Gupta, Rafa\"el Pinot, S\'ebastien Rouault, John Stephan
• Abstract要約: 本研究では,差分プライバシ(DP)と$(alpha,f)$-ビザンチンレジリエンスを併用して,SGD(Gradient Descent)学習アルゴリズムの分散実装が実現可能であるかを検討する。 これらの手法の直接的な構成は、結果のSGDアルゴリズムがMLモデルのパラメータ数に依存することを保証していることを示す。
• 参考スコア（独自算出の注目度）: 6.614755043607777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses the problem of combining Byzantine resilience with privacy in machine learning (ML). Specifically, we study whether a distributed implementation of the renowned Stochastic Gradient Descent (SGD) learning algorithm is feasible with both differential privacy (DP) and $(\alpha,f)$-Byzantine resilience. To the best of our knowledge, this is the first work to tackle this problem from a theoretical point of view. A key finding of our analyses is that the classical approaches to these two (seemingly) orthogonal issues are incompatible. More precisely, we show that a direct composition of these techniques makes the guarantees of the resulting SGD algorithm depend unfavourably upon the number of parameters in the ML model, making the training of large models practically infeasible. We validate our theoretical results through numerical experiments on publicly-available datasets; showing that it is impractical to ensure DP and Byzantine resilience simultaneously.
• Abstract（参考訳）: 本稿では,機械学習(ML)におけるビザンチンレジリエンスとプライバシの併用の問題に対処する。 具体的には、有名なStochastic Gradient Descent(SGD)学習アルゴリズムの分散実装が、差分プライバシー(DP)と$(\alpha,f)$-Byzantineレジリエンスの両方で実現可能かどうかを検討する。 私たちの知識を最大限に活かすために、これは理論的観点からこの問題に取り組む最初の仕事です。 我々の分析の鍵となる発見は、これらの2つの(おそらく)直交問題に対する古典的なアプローチが相容れないことである。 より正確には、これらの手法の直接的な構成は、結果のSGDアルゴリズムの保証がMLモデルのパラメータ数に依存しないことを示し、大規模モデルのトレーニングを事実上不可能にする。 我々は,公開データセットの数値実験により,dpとビザンチンのレジリエンスを同時に確保することは実用的でないことを示した。

関連論文リスト

• DCID: Deep Canonical Information Decomposition [84.59396326810085]
  本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。 そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。 また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T16:59:06Z)
• Practical Differentially Private and Byzantine-resilient Federated Learning [17.237219486602097]
  我々は、プライバシーを守るために、微分プライベート勾配降下法(DP-SGD)アルゴリズムを用いている。 ランダムノイズを利用して、既存のビザンツ攻撃の多くを効果的に拒否するアグリゲーションを構築する。
  論文  参考訳（メタデータ） (2023-04-15T23:30:26Z)
• Learning and interpreting asymmetry-labeled DAGs: a case study on COVID-19 fear [2.3572498744567127]
  非対称性ラベル付きDAGは、独立性の対称仮定を緩和することによってベイズネットワークのクラスを拡張することが提案されている。 本稿では,このモデルに対する構造学習アルゴリズムについて紹介する。このアルゴリズムは,効率的ではあるが,基礎となる依存構造を直接解釈することができる。 イタリアで収集されたFear of COVID-19 Scaleのデータを使用した実世界のデータアプリケーションでは、実際に使用されていることが示されている。
  論文  参考訳（メタデータ） (2023-01-02T12:48:17Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• Principled Knowledge Extrapolation with GANs [92.62635018136476]
  我々は,知識外挿の新たな視点から,対実合成を研究する。 本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。 提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
  論文  参考訳（メタデータ） (2022-05-21T08:39:42Z)
• Bridging Differential Privacy and Byzantine-Robustness via Model Aggregation [27.518542543750367]
  本稿では,差分プライバシーとビザンチネロバストネスという,連邦学習における対立する問題に対処することを目的とする。 標準メカニズムは送信DP、エンベロップスエンベロップスエンベロップスエンベロープ(エンベロップスエンベロープ、エンベロープエンベロープアグリゲーション)を追加し、ビザンツ攻撃を防御する。 提案手法の影響は, その頑健なモデルアグリゲーションによって抑制されていることを示す。
  論文  参考訳（メタデータ） (2022-04-29T23:37:46Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Combining Differential Privacy and Byzantine Resilience in Distributed SGD [9.14589517827682]
  本稿では,分散SGDアルゴリズムが標準パラメータサーバアーキテクチャにおいて,どの程度正確なモデルを学習できるかについて検討する。 特に$(alpha,f)$-Byzantineのレジリエンスに依存しているものは、正直な労働者がDPを強制すると無効となる。
  論文  参考訳（メタデータ） (2021-10-08T09:23:03Z)
• Disentangling Observed Causal Effects from Latent Confounders using Method of Moments [67.27068846108047]
  我々は、軽度の仮定の下で、識別性と学習可能性に関する保証を提供する。 我々は,線形制約付き結合テンソル分解に基づく効率的なアルゴリズムを開発し,スケーラブルで保証可能な解を得る。
  論文  参考訳（メタデータ） (2021-01-17T07:48:45Z)
• Differentially Private (Gradient) Expectation Maximization Algorithm with Statistical Guarantees [25.996994681543903]
  (グラディエント)期待最大化(EM)は、混合モデルや不完全データ問題の最大確率を推定するアルゴリズムである。 この問題に関するこれまでの研究は、既に(グラディエント)EMのための微分プライベート(DP)アルゴリズムの発見につながっている。 本稿では,統計的保証付き(グラディエント)EMアルゴリズムの最初のDPバージョンを提案する。
  論文  参考訳（メタデータ） (2020-10-22T03:41:19Z)
• Efficient Model-Based Reinforcement Learning through Optimistic Policy Search and Planning [93.1435980666675]
  最先端の強化学習アルゴリズムと楽観的な探索を容易に組み合わせることができることを示す。 我々の実験は、楽観的な探索が行動に罰則がある場合、学習を著しくスピードアップすることを示した。
  論文  参考訳（メタデータ） (2020-06-15T18:37:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。