論文の概要: A(DP)$^2$SGD: Asynchronous Decentralized Parallel Stochastic Gradient Descent with Differential Privacy

• arxiv url: http://arxiv.org/abs/2008.09246v1
• Date: Fri, 21 Aug 2020 00:56:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 21:19:51.728665
• Title: A(DP)$^2$SGD: Asynchronous Decentralized Parallel Stochastic Gradient Descent with Differential Privacy
• Title（参考訳）: a(dp)$^2$sgd: 微分プライバシーを持つ非同期分散並列確率勾配降下
• Authors: Jie Xu, Wei Zhang, Fei Wang
• Abstract要約: 一般的な分散学習戦略はフェデレーション学習であり、グローバルモデルを格納する中央サーバと、対応するデータでモデルパラメータを更新するローカルコンピューティングノードのセットがある。 本稿では,ADPSGDの通信効率を保ち,悪意のある参加者による推論を防止する,非同期分散並列SGDフレームワークの差分プライベート版A(DP)$2$SGDを提案する。
• 参考スコア（独自算出の注目度）: 15.038697541988746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As deep learning models are usually massive and complex, distributed learning is essential for increasing training efficiency. Moreover, in many real-world application scenarios like healthcare, distributed learning can also keep the data local and protect privacy. A popular distributed learning strategy is federated learning, where there is a central server storing the global model and a set of local computing nodes updating the model parameters with their corresponding data. The updated model parameters will be processed and transmitted to the central server, which leads to heavy communication costs. Recently, asynchronous decentralized distributed learning has been proposed and demonstrated to be a more efficient and practical strategy where there is no central server, so that each computing node only communicates with its neighbors. Although no raw data will be transmitted across different local nodes, there is still a risk of information leak during the communication process for malicious participants to make attacks. In this paper, we present a differentially private version of asynchronous decentralized parallel SGD (ADPSGD) framework, or A(DP)$^2$SGD for short, which maintains communication efficiency of ADPSGD and prevents the inference from malicious participants. Specifically, R{\'e}nyi differential privacy is used to provide tighter privacy analysis for our composite Gaussian mechanisms while the convergence rate is consistent with the non-private version. Theoretical analysis shows A(DP)$^2$SGD also converges at the optimal $\mathcal{O}(1/\sqrt{T})$ rate as SGD. Empirically, A(DP)$^2$SGD achieves comparable model accuracy as the differentially private version of Synchronous SGD (SSGD) but runs much faster than SSGD in heterogeneous computing environments.
• Abstract（参考訳）: ディープラーニングモデルは一般的に大規模で複雑であるため、トレーニング効率を高めるためには分散学習が不可欠である。 さらに、ヘルスケアのような現実世界のアプリケーションシナリオでは、分散学習はデータをローカルに保ち、プライバシを保護することもできる。 一般的な分散学習戦略はフェデレーション学習(federated learning)であり、グローバルモデルを格納する中央サーバと、モデルパラメータを対応するデータで更新するローカルコンピューティングノードのセットがある。 更新されたモデルパラメータは処理され、中央サーバに送信されるため、通信コストが高くなる。 近年、非同期分散学習が提案され、中央サーバがない場合、各計算ノードが隣人とのみ通信できるように、より効率的で実践的な戦略であることが実証されている。 異なるローカルノード間で生データは送信されないが、悪意のある参加者が攻撃を行うための通信プロセス中に情報漏洩のリスクがある。 本稿では,ADPSGDの通信効率を保ち,悪意のある参加者による推論を防止するために,非同期分散並列SGD(ADPSGD)フレームワークの差分プライベートバージョン(略してA(DP)$^2$SGD)を提案する。 特に、r{\'e}nyi微分プライバシは、コンバージェンスレートが非プライベートバージョンと一致する一方で、複合ガウス機構のより厳密なプライバシー分析を提供するために使われます。 理論的解析によると、A(DP)$^2$SGD は最適 $\mathcal{O}(1/\sqrt{T})$ で SGD として収束する。 経験的に、A(DP)$^2$SGDはSynchronous SGD(SSGD)の微分プライベートバージョンとして同等のモデル精度を達成するが、異種コンピューティング環境ではSSGDよりもはるかに高速に動作する。

関連論文リスト

• Towards Communication-efficient Federated Learning via Sparse and Aligned Adaptive Optimization [65.85963235502322]
  Federated Adam (FedAdam) アルゴリズムはアップリンク通信オーバーヘッドの3倍の増大に悩まされている。 我々はFedAdam-SSMと呼ばれる新しいスパースなFedAdamアルゴリズムを提案する。 我々は,FedAdam-SSMが訓練したモデルと集中型Adamの差異を最小化することにより,スペーシフィケーションエラーによる学習性能劣化を軽減するためにSSMを最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:56:49Z)
• Secure Aggregation Meets Sparsification in Decentralized Learning [1.7010199949406575]
  本稿では,分散学習(DL)のための新しいセキュアアグリゲーションプロトコルであるCESARを紹介する。 CESARは、正直だが正反対の敵を確実に擁護し、両者の共謀に対処するために形式的に適応することができる。
  論文  参考訳（メタデータ） (2024-05-13T12:52:58Z)
• Accelerating Parallel Stochastic Gradient Descent via Non-blocking Mini-batches [3.736244431175932]
  ノンブロッキングSGDは異種環境におけるストラグラー問題に対処することができる。 非ブロッキングSGDは、異種環境において同じトレーニング損失に達するのに最大2倍の時間を要する。
  論文  参考訳（メタデータ） (2022-11-02T05:25:01Z)
• DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over Graphs [54.08445874064361]
  本稿では,分散環境下での正規化された分散ロバストな学習問題を解くことを提案する。 Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな問題に還元することができる。 提案アルゴリズムは, 最低分布検定精度を最大10%向上できることを示す。
  論文  参考訳（メタデータ） (2022-08-29T18:01:42Z)
• Homogeneous Learning: Self-Attention Decentralized Deep Learning [0.6091702876917281]
  本研究では,非IIDデータに自己認識機構を持たせるために,HL(Homogeneous Learning)と呼ばれる分散学習モデルを提案する。 HLはスタンドアローンの学習と比較してパフォーマンスが向上し、トレーニングラウンド全体の50.8%、通信コスト74.6%を大幅に削減できる。
  論文  参考訳（メタデータ） (2021-10-11T14:05:29Z)
• RelaySum for Decentralized Deep Learning on Heterogeneous Data [71.36228931225362]
  分散機械学習では、労働者はローカルデータのモデル更新を計算する。 労働者は中心的な調整なしに隣人とのみ通信するため、これらの更新はネットワーク上で徐々に伝播する。 このパラダイムは、全接続のないネットワーク上での分散トレーニングを可能にし、データのプライバシ保護と、データセンタでの分散トレーニングの通信コストの削減を支援する。
  論文  参考訳（メタデータ） (2021-10-08T14:55:32Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)
• A Unified Theory of Decentralized SGD with Changing Topology and Local Updates [70.9701218475002]
  分散通信方式の統一収束解析を導入する。 いくつかの応用に対して普遍収束率を導出する。 私たちの証明は弱い仮定に依存している。
  論文  参考訳（メタデータ） (2020-03-23T17:49:15Z)
• Overlap Local-SGD: An Algorithmic Approach to Hide Communication Delays in Distributed SGD [32.03967072200476]
  We propose a algorithmic approach named OverlapLocal-Local-Local-SGD (Local momentum variant)。 各ノードにアンカーモデルを追加することでこれを実現する。 複数のローカルアップデートの後、ローカルにトレーニングされたモデルは、他の人と通信するのではなく、アンカーモデルへと引き戻される。
  論文  参考訳（メタデータ） (2020-02-21T20:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。