論文の概要: Differentially Private ADMM for Convex Distributed Learning: Improved Accuracy via Multi-Step Approximation

• arxiv url: http://arxiv.org/abs/2005.07890v1
• Date: Sat, 16 May 2020 07:17:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 13:06:35.230207
• Title: Differentially Private ADMM for Convex Distributed Learning: Improved Accuracy via Multi-Step Approximation
• Title（参考訳）: 凸分散学習のための微分プライベートADMM:マルチステップ近似による精度の向上
• Authors: Zonghao Huang and Yanmin Gong
• Abstract要約: Alternating Direction Method of Multipliers (ADMM) は分散学習において一般的な計算方法である。 トレーニングデータが機密性のある場合には、交換されたイテレートが深刻なプライバシー上の懸念を引き起こす。 本稿では,様々な凸学習問題に対する精度の向上を図った分散ADMMを提案する。
• 参考スコア（独自算出の注目度）: 10.742065340992525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Alternating Direction Method of Multipliers (ADMM) is a popular algorithm for distributed learning, where a network of nodes collaboratively solve a regularized empirical risk minimization by iterative local computation associated with distributed data and iterate exchanges. When the training data is sensitive, the exchanged iterates will cause serious privacy concern. In this paper, we aim to propose a new differentially private distributed ADMM algorithm with improved accuracy for a wide range of convex learning problems. In our proposed algorithm, we adopt the approximation of the objective function in the local computation to introduce calibrated noise into iterate updates robustly, and allow multiple primal variable updates per node in each iteration. Our theoretical results demonstrate that our approach can obtain higher utility by such multiple approximate updates, and achieve the error bounds asymptotic to the state-of-art ones for differentially private empirical risk minimization.
• Abstract（参考訳）: Alternating Direction Method of Multipliers (ADMM) は分散学習のための一般的なアルゴリズムであり、ノードのネットワークは分散データと反復交換に付随する反復的局所計算により、正規化された経験的リスク最小化を協調的に解決する。 トレーニングデータがセンシティブな場合、交換されたイテレートは、重大なプライバシー上の懸念を引き起こす。 本稿では,多岐にわたる凸学習問題に対して,精度が向上した微分プライベート分散admmアルゴリズムを提案する。 提案アルゴリズムでは, 局所計算における目的関数の近似を適用し, キャリブレーションされた雑音を逐次更新に頑健に導入し, 複数ノード毎の一次変数更新を可能にする。 提案手法は,複数の近距離更新によって高い実用性が得られることを示すとともに,その誤差境界が最先端のものと漸近していることを示す。

関連論文リスト

• Optimizing the Optimal Weighted Average: Efficient Distributed Sparse Classification [50.406127962933915]
  ACOWAは、小さなランタイムの増加とともに、顕著に優れた近似品質を達成するための追加の通信を可能にする。 その結果、ACOWAは経験的リスク最小化に忠実で、他の分散アルゴリズムよりもかなり高い精度で解が得られることがわかった。
  論文  参考訳（メタデータ） (2024-06-03T19:43:06Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Recursive Inference for Variational Autoencoders [34.552283758419506]
  従来の変分オートエンコーダ(VAE)の推論ネットワークは典型的に償却される。 この欠点に対処するために、最近の半修正アプローチが提案されている。 精度の高い償却推論アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-11-17T10:22:12Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Distributed Optimization, Averaging via ADMM, and Network Topology [0.0]
  センサローカライゼーションの現実問題において,ネットワークトポロジと異なるアルゴリズムの収束率の関係について検討する。 また、ADMMと持ち上げマルコフ連鎖の間の興味深い関係を示すとともに、その収束を明示的に特徴づける。
  論文  参考訳（メタデータ） (2020-09-05T21:44:39Z)
• Towards Plausible Differentially Private ADMM Based Distributed Machine Learning [27.730535587906168]
  本稿では,PP-ADMM と IPP-ADMM という,可塑性差分ADMM アルゴリズムを提案する。 同じプライバシ保証の下では、提案アルゴリズムはモデル精度と収束率の観点から、最先端技術である。
  論文  参考訳（メタデータ） (2020-08-11T03:40:55Z)
• Jointly Optimizing Dataset Size and Local Updates in Heterogeneous Mobile Edge Learning [11.191719032853527]
  本稿では、リソース制約のある無線エッジを介して接続された学習者を対象に訓練された分散機械学習(ML)モデルの精度を最大化する。 我々は,各学習者の不均一なコミュニケーションと計算能力を考慮して,ローカル/グローバルな更新数とタスクサイズ割り当てを共同で最適化し,損失を最小限に抑える。
  論文  参考訳（メタデータ） (2020-06-12T18:19:20Z)
• Beyond the Mean-Field: Structured Deep Gaussian Processes Improve the Predictive Uncertainties [12.068153197381575]
  高速収束を達成しつつ、潜在過程間の共分散を維持できる新しい変分族を提案する。 新しいアプローチの効率的な実装を提供し、それをいくつかのベンチマークデータセットに適用します。 優れた結果をもたらし、最先端の代替品よりも精度とキャリブレーションされた不確実性推定とのバランスが良くなる。
  論文  参考訳（メタデータ） (2020-05-22T11:10:59Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Channel Assignment in Uplink Wireless Communication using Machine Learning Approach [54.012791474906514]
  本稿では,アップリンク無線通信システムにおけるチャネル割り当て問題について検討する。 我々の目標は、整数チャネル割り当て制約を受ける全ユーザの総和率を最大化することです。 計算複雑性が高いため、機械学習アプローチは計算効率のよい解を得るために用いられる。
  論文  参考訳（メタデータ） (2020-01-12T15:54:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。