論文の概要: Differentially Private Decentralized Deep Learning with Consensus Algorithms

• arxiv url: http://arxiv.org/abs/2306.13892v1
• Date: Sat, 24 Jun 2023 07:46:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 18:30:32.127990
• Title: Differentially Private Decentralized Deep Learning with Consensus Algorithms
• Title（参考訳）: コンセンサスアルゴリズムを用いた分別分散型深層学習
• Authors: Jasmine Bayrooti, Zhan Gao, Amanda Prorok
• Abstract要約: 協調的な分散ディープラーニングは、通信エージェント間の直接的な情報交換に依存している。 信頼できない隣人エージェントとのパラメータ共有は、ローカルデータセットに関する悪用可能な情報を漏洩させる可能性がある。 協調訓練の前後で各エージェントの局所的データセットを確保できる分別的私的分散学習を導入する。
• 参考スコア（独自算出の注目度）: 10.208363125551555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cooperative decentralized deep learning relies on direct information exchange between communicating agents, each with access to a local dataset which should be kept private. The goal is for all agents to achieve consensus on model parameters after training. However, sharing parameters with untrustworthy neighboring agents could leak exploitable information about local datasets. To combat this, we introduce differentially private decentralized learning that secures each agent's local dataset during and after cooperative training. In our approach, we generalize Differentially Private Stochastic Gradient Descent (DP-SGD) -- a popular differentially private training method for centralized deep learning -- to practical subgradient- and ADMM-based decentralized learning methods. Our algorithms' differential privacy guarantee holds for arbitrary deep learning objective functions, and we analyze the convergence properties for strongly convex objective functions. We compare our algorithms against centrally trained models on standard classification tasks and evaluate the relationships between performance, privacy budget, graph connectivity, and degree of training data overlap among agents. We find that differentially private gradient tracking is resistant to performance degradation under sparse graphs and non-uniform data distributions. Furthermore, we show that it is possible to learn a model achieving high accuracies, within 3% of DP-SGD on MNIST under (1, 10^-5)-differential privacy and within 6% of DP-SGD on CIFAR-100 under (10, 10^-5)-differential privacy, without ever sharing raw data with other agents. Open source code can be found at: https://github.com/jbayrooti/dp-dec-learning.
• Abstract（参考訳）: 協調分散ディープラーニングは、通信エージェント間の直接的な情報交換に依存しており、それぞれがプライベートにしておくべきローカルデータセットにアクセスする。 目標は、すべてのエージェントがトレーニング後にモデルパラメータに関するコンセンサスを達成することです。 しかし、信頼できない近隣エージェントとのパラメータ共有は、ローカルデータセットに関する悪用可能な情報を漏洩させる可能性がある。 これに対抗するために,各エージェントの局所的データセットを協調訓練の前後で確保する分散学習を導入する。 提案手法では,集中型深層学習のための分散学習手法DP-SGDを,実践的な下位段階およびADMMに基づく分散学習手法に一般化する。 アルゴリズムの差分プライバシー保証は、任意の深層学習対象関数に対して成り立ち、強凸目的関数に対する収束特性を解析する。 標準分類タスクで集中的に訓練されたモデルと比較し,性能,プライバシ予算,グラフ接続性,エージェント間のトレーニングデータの重なり度との関係を評価した。 偏微分的勾配追跡はスパースグラフと非一様データ分布の下での性能劣化に耐性がある。 さらに, mnist における dp-sgd の 3% を (1, 10^-5) で, cifar-100 で dp-sgd の 6% を (10, 10^-5) で, 生データを他のエージェントと共有することなく, 高確率で dp-sgd を学習できることを示す。 オープンソースコードは、https://github.com/jbayrooti/dp-dec-learningにある。

関連論文リスト

• Personalized Federated Learning for Cross-view Geo-localization [49.40531019551957]
  本稿では,フェデレート・ラーニング (FL) とクロスビュー・イメージ・ジオローカライゼーション (CVGL) 技術を組み合わせた方法論を提案する。 提案手法では, クライアントが粗い特徴抽出器のみを共有しながら, 局所環境に特有のきめ細かな特徴を保持する, 粗い特徴抽出器を実装している。 その結果,フェデレートCVGL法は,データプライバシを維持しつつ,集中的なトレーニングに近い性能を実現することができた。
  論文  参考訳（メタデータ） (2024-11-07T13:25:52Z)
• Privacy Preserving Semi-Decentralized Mean Estimation over Intermittently-Connected Networks [59.43433767253956]
  信頼できない無線ネットワークの異なるノードに分散するベクトルの平均をプライベートに推定する問題を考える。 半分散的なセットアップでは、ノードは隣人と協力してローカルコンセンサスを計算し、中央サーバにリレーする。 ノード間のデータ共有による協調中継とプライバシー漏洩のトレードオフについて検討する。
  論文  参考訳（メタデータ） (2024-06-06T06:12:15Z)
• Collaborative Mean Estimation over Intermittently Connected Networks with Peer-To-Peer Privacy [86.61829236732744]
  本研究は、断続接続を有するネットワーク上での分散平均推定(DME)の問題について考察する。 目標は、中央サーバの助けを借りて、分散ノード間でローカライズされたデータサンプルに関するグローバル統計を学習することだ。 ノード間のデータ共有による協調中継とプライバシー漏洩のトレードオフについて検討する。
  論文  参考訳（メタデータ） (2023-02-28T19:17:03Z)
• Efficient Node Selection in Private Personalized Decentralized Learning [3.7784910521656654]
  ノードのプライバシを保護するために,プライベート・パーソナライズド・デカライズド・ラーニング(PPDL)を提案する。 PPDLは、セキュアアグリゲーションと相関した対向多武装帯域最適化を組み合わせたものである。 PPDLは標準ベンチマークのモデル性能において従来の非プライベートな手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T10:01:18Z)
• Privacy-preserving Decentralized Federated Learning over Time-varying Communication Graph [5.649296652252663]
  分散学習者が分散グローバルモデルアグリゲーションを実現するための最初のプライバシ保存コンセンサスに基づくアルゴリズムを提案する。 本論文は,提案アルゴリズムの正当性とプライバシ特性について述べる。
  論文  参考訳（メタデータ） (2022-10-01T17:17:22Z)
• Personalization Improves Privacy-Accuracy Tradeoffs in Federated Optimization [57.98426940386627]
  局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。 合成および実世界のデータセットに関する実験により理論的結果について述べる。
  論文  参考訳（メタデータ） (2022-02-10T20:44:44Z)
• Mitigating Leakage from Data Dependent Communications in Decentralized Computing using Differential Privacy [1.911678487931003]
  本稿では,ユーザ側分散計算における通信データ依存性を制御する汎用実行モデルを提案する。 私たちの公式なプライバシー保証は、シャッフルによるプライバシーの増幅に関する最近の結果を活用し、拡張します。
  論文  参考訳（メタデータ） (2021-12-23T08:30:17Z)
• Privacy-preserving Decentralized Aggregation for Federated Learning [3.9323226496740733]
  フェデレーション学習は、複数のリージョンにまたがる分散データを学習するための有望なフレームワークである。 我々は,連合学習のためのプライバシ保存型分散集約プロトコルを開発した。 9 と 15 の分散サイトを持つベンチマークデータセットを用いて,画像分類と次単語予測のアルゴリズムの評価を行った。
  論文  参考訳（メタデータ） (2020-12-13T23:45:42Z)
• Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
  ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。 すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。 本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
  論文  参考訳（メタデータ） (2020-10-23T10:35:35Z)
• SPEED: Secure, PrivatE, and Efficient Deep learning [2.283665431721732]
  私たちは、強力なプライバシー制約に対処できるディープラーニングフレームワークを導入します。 協調学習、差分プライバシー、同型暗号化に基づいて、提案手法は最先端技術に進化する。
  論文  参考訳（メタデータ） (2020-06-16T19:31:52Z)
• Privacy-preserving Traffic Flow Prediction: A Federated Learning Approach [61.64006416975458]
  本稿では,フェデレート学習に基づくGated Recurrent Unit Neural Network Algorithm (FedGRU) というプライバシ保護機械学習手法を提案する。 FedGRUは、現在の集中学習方法と異なり、安全なパラメータアグリゲーション機構を通じて、普遍的な学習モデルを更新する。 FedGRUの予測精度は、先進的なディープラーニングモデルよりも90.96%高い。
  論文  参考訳（メタデータ） (2020-03-19T13:07:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。