論文の概要: Towards Plausible Differentially Private ADMM Based Distributed Machine Learning

• arxiv url: http://arxiv.org/abs/2008.04500v1
• Date: Tue, 11 Aug 2020 03:40:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 11:04:58.063847
• Title: Towards Plausible Differentially Private ADMM Based Distributed Machine Learning
• Title（参考訳）: 個人差分型ADMMに基づく分散機械学習の実現に向けて
• Authors: Jiahao Ding and Jingyi Wang and Guannan Liang and Jinbo Bi and Miao Pan
• Abstract要約: 本稿では,PP-ADMM と IPP-ADMM という,可塑性差分ADMM アルゴリズムを提案する。 同じプライバシ保証の下では、提案アルゴリズムはモデル精度と収束率の観点から、最先端技術である。
• 参考スコア（独自算出の注目度）: 27.730535587906168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Alternating Direction Method of Multipliers (ADMM) and its distributed version have been widely used in machine learning. In the iterations of ADMM, model updates using local private data and model exchanges among agents impose critical privacy concerns. Despite some pioneering works to relieve such concerns, differentially private ADMM still confronts many research challenges. For example, the guarantee of differential privacy (DP) relies on the premise that the optimality of each local problem can be perfectly attained in each ADMM iteration, which may never happen in practice. The model trained by DP ADMM may have low prediction accuracy. In this paper, we address these concerns by proposing a novel (Improved) Plausible differentially Private ADMM algorithm, called PP-ADMM and IPP-ADMM. In PP-ADMM, each agent approximately solves a perturbed optimization problem that is formulated from its local private data in an iteration, and then perturbs the approximate solution with Gaussian noise to provide the DP guarantee. To further improve the model accuracy and convergence, an improved version IPP-ADMM adopts sparse vector technique (SVT) to determine if an agent should update its neighbors with the current perturbed solution. The agent calculates the difference of the current solution from that in the last iteration, and if the difference is larger than a threshold, it passes the solution to neighbors; or otherwise the solution will be discarded. Moreover, we propose to track the total privacy loss under the zero-concentrated DP (zCDP) and provide a generalization performance analysis. Experiments on real-world datasets demonstrate that under the same privacy guarantee, the proposed algorithms are superior to the state of the art in terms of model accuracy and convergence rate.
• Abstract（参考訳）: Alternating Direction Method of Multipliers (ADMM)とその分散バージョンは機械学習で広く使われている。 ADMMのイテレーションでは、ローカルなプライベートデータを使ったモデル更新とエージェント間のモデル交換が重要なプライバシー上の懸念を課している。 このような懸念を和らげるための先駆的な取り組みはいくつかあるが、微分プライベートADMMは依然として多くの研究課題に直面している。 例えば、差分プライバシー(DP)の保証は、各ローカル問題の最適性が各ADMMイテレーションで完全に達成可能であるという前提に依存している。 DP ADMMで訓練されたモデルは予測精度が低い。 本稿では、PP-ADMM と IPP-ADMM と呼ばれる新しい(改良されていない)プラルーシブル差分ADMM アルゴリズムを提案する。 PP-ADMMでは、各エージェントは、局所的なプライベートデータから繰り返しで定式化された摂動最適化問題をほぼ解決し、ガウス雑音で近似解を摂動し、DP保証を提供する。 モデル精度と収束性をさらに向上するため、改良版のIPP-ADMMはスパースベクトル技術(SVT)を採用し、エージェントが現在の摂動解で隣人を更新するかどうかを決定する。 エージェントは、前回のイテレーションにおける解と現在の解の差を計算し、差がしきい値よりも大きい場合は、その解を隣人に渡す。 また,ゼロ集中DP(zCDP)の下での総プライバシー損失の追跡と,一般化性能解析を提案する。 実世界のデータセットの実験では、同じプライバシ保証の下では、提案アルゴリズムはモデルの精度と収束率の観点から、最先端技術よりも優れていることが示されている。

関連論文リスト

• AAA: an Adaptive Mechanism for Locally Differential Private Mean Estimation [42.95927712062214]
  ローカルディファレンシャルプライバシ(LDP)は、一般的なソフトウェアシステムで採用されている強力なプライバシ標準である。 本稿では, 平均効用に対処する分布認識手法である, 適応型アダプティブ (AAA) 機構を提案する。 我々は、厳密なプライバシー証明、ユーティリティ分析、そしてAAAと最先端のメカニズムを比較した広範な実験を提供する。
  論文  参考訳（メタデータ） (2024-04-02T04:22:07Z)
• Private Networked Federated Learning for Nonsmooth Objectives [7.278228169713637]
  本稿では,非平滑な目的関数を解くためのネットワーク型フェデレーション学習アルゴリズムを提案する。 参加者の秘密性を保証するため、ゼロ集中型微分プライバシー概念(zCDP)を用いる。 プライバシ保証とアルゴリズムの正確な解への収束の完全な理論的証明を提供する。
  論文  参考訳（メタデータ） (2023-06-24T16:13:28Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Multi-Message Shuffled Privacy in Federated Learning [2.6778110563115542]
  本稿では,通信制約下での分散最適化について検討する。 最適化にSGDを用いたサーバは、分散平均推定(DME)を用いたモデル更新のためのクライアント側局所勾配を集約する 最近開発されたMMS(Multi-message shuffled)プライバシーフレームワークを用いて,通信効率の良いプライベートDMEを開発する。
  論文  参考訳（メタデータ） (2023-02-22T05:23:52Z)
• Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement Learning: Adaptivity and Computational Efficiency [90.40062452292091]
  本稿では,不整合雑音を持つ線形帯域に対する計算効率のよい最初のアルゴリズムを提案する。 我々のアルゴリズムは未知のノイズの分散に適応し、$tildeO(d sqrtsum_k = 1K sigma_k2 + d)$ regretを達成する。 また、強化学習において、線形混合マルコフ決定過程(MDP)に対する分散適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-21T00:17:24Z)
• MAPS: A Noise-Robust Progressive Learning Approach for Source-Free Domain Adaptive Keypoint Detection [76.97324120775475]
  クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。 本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
  論文  参考訳（メタデータ） (2023-02-09T12:06:08Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Differentially Private ADMM Algorithms for Machine Learning [38.648113004535155]
  勾配摂動による乗算器(ADMM)の高効率な個人交互方向法について検討した。 差分型ADMM(DP-ADMM)アルゴリズムを提案し,性能保証を$(epsilon,delta)$-differential privacy とする。
  論文  参考訳（メタデータ） (2020-10-31T01:37:24Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Differentially Private ADMM for Convex Distributed Learning: Improved Accuracy via Multi-Step Approximation [10.742065340992525]
  Alternating Direction Method of Multipliers (ADMM) は分散学習において一般的な計算方法である。 トレーニングデータが機密性のある場合には、交換されたイテレートが深刻なプライバシー上の懸念を引き起こす。 本稿では,様々な凸学習問題に対する精度の向上を図った分散ADMMを提案する。
  論文  参考訳（メタデータ） (2020-05-16T07:17:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。