論文の概要: From Noisy Fixed-Point Iterations to Private ADMM for Centralized and Federated Learning

• arxiv url: http://arxiv.org/abs/2302.12559v1
• Date: Fri, 24 Feb 2023 10:24:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-27 13:55:09.109456
• Title: From Noisy Fixed-Point Iterations to Private ADMM for Centralized and Federated Learning
• Title（参考訳）: 雑音の固定点反復から集中学習のためのプライベートADMMへ
• Authors: Edwige Cyffers, Aurelien Bellet and Debabrota Basu
• Abstract要約: 雑音の多い固定点反復の例として、差分プライベート(DP)機械学習アルゴリズムについて検討する。 我々は、プライバシーの増幅をサブサンプリングによって活用する強力なプライバシー保証を確立する。 雑音の多い不動点反復に対する最近の線形収束結果を利用する統一解析を用いてユーティリティ保証を行う。
• 参考スコア（独自算出の注目度）: 4.202534541804858
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study differentially private (DP) machine learning algorithms as instances of noisy fixed-point iterations, in order to derive privacy and utility results from this well-studied framework. We show that this new perspective recovers popular private gradient-based methods like DP-SGD and provides a principled way to design and analyze new private optimization algorithms in a flexible manner. Focusing on the widely-used Alternating Directions Method of Multipliers (ADMM) method, we use our general framework to derive novel private ADMM algorithms for centralized, federated and fully decentralized learning. For these three algorithms, we establish strong privacy guarantees leveraging privacy amplification by iteration and by subsampling. Finally, we provide utility guarantees using a unified analysis that exploits a recent linear convergence result for noisy fixed-point iterations.
• Abstract（参考訳）: 我々は、このよく研究されたフレームワークからプライバシーとユーティリティー結果を引き出すために、ノイズの多い固定点反復の例として、差分プライベート(DP)機械学習アルゴリズムについて研究する。 本稿では,DP-SGDのようなプライベート勾配に基づく手法を復元し,フレキシブルな方法で新しいプライベート最適化アルゴリズムの設計と解析を行う方法を提案する。 広範に用いられている乗算器の交互方向法(admm)に着目し,本手法の汎用的枠組みを用いて,集中型,フェデレーション型,完全分散型学習のための新しいプライベートadmmアルゴリズムを導出する。 これら3つのアルゴリズムに対して、繰り返しおよびサブサンプリングによるプライバシー増幅を活用する強力なプライバシー保証を確立する。 最後に、雑音の多い固定点反復に対する最近の線形収束結果を利用する統一解析を用いてユーティリティ保証を提供する。

関連論文リスト

• Federated Cubic Regularized Newton Learning with Sparsification-amplified Differential Privacy [10.396575601912673]
  そこで我々は,DP-FCRN (differially Private Federated Cubic Regularized Newton) というフェデレーション学習アルゴリズムを導入する。 2次手法を活用することにより,本アルゴリズムは1次手法に比べてイテレーションの複雑さを小さくする。 また、プライバシーを確保するために、局所的な計算中にノイズの摂動も取り入れる。
  論文  参考訳（メタデータ） (2024-08-08T08:48:54Z)
• Provable Privacy with Non-Private Pre-Processing [56.770023668379615]
  非プライベートなデータ依存前処理アルゴリズムによって生じる追加のプライバシーコストを評価するための一般的なフレームワークを提案する。 当社のフレームワークは,2つの新しい技術的概念を活用することにより,全体的なプライバシー保証の上限を確立する。
  論文  参考訳（メタデータ） (2024-03-19T17:54:49Z)
• Dynamic Privacy Allocation for Locally Differentially Private Federated Learning with Composite Objectives [10.528569272279999]
  本稿では,強い凸性を持つが非滑らかな問題に対する差分プライベートなフェデレーション学習アルゴリズムを提案する。 提案アルゴリズムは、共有情報に人工ノイズを加えてプライバシーを確保するとともに、時間変化のノイズ分散を動的に割り当て、最適化誤差の上限を最小化する。 解析結果から,提案手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-02T13:30:33Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• Multi-Message Shuffled Privacy in Federated Learning [2.6778110563115542]
  本稿では,通信制約下での分散最適化について検討する。 最適化にSGDを用いたサーバは、分散平均推定(DME)を用いたモデル更新のためのクライアント側局所勾配を集約する 最近開発されたMMS(Multi-message shuffled)プライバシーフレームワークを用いて,通信効率の良いプライベートDMEを開発する。
  論文  参考訳（メタデータ） (2023-02-22T05:23:52Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Differentially Private Learning with Margin Guarantees [48.83724068578305]
  我々は,次元非依存のマージン保証を備えた新しい差分プライベート(DP)アルゴリズムを提案する。 線形仮説の族に対しては、相対的な偏差マージン保証の恩恵を受ける純粋DP学習アルゴリズムを提供する。 また,カーネルベースの仮説に対するマージン保証を備えたDP学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-04-21T19:12:06Z)
• Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
  本稿では,適応的(確率的)勾配摂動法を提案する。 ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-10-14T15:02:20Z)
• Local Differential Privacy for Bayesian Optimization [12.05395706770007]
  局所微分プライバシー(LDP)を保証した非パラメトリックガウス過程におけるブラックボックス最適化について検討する。 具体的には、各ユーザの報酬は、プライバシーを保護するためにさらに悪化し、学習者は、後悔を最小限に抑えるために、破損した報酬にのみアクセスすることができる。 GP-UCBフレームワークとLaplace DP機構に基づく3つのほぼ最適なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-13T21:50:09Z)
• Tighter Generalization Bounds for Iterative Differentially Private Learning Algorithms [95.73230376153872]
  本稿では,反復学習アルゴリズムにおける一般化とプライバシ保護の関係を2つのステップで検討する。 我々は、$(varepsilon, delta)$-differential privacyは、マルチデータベース学習アルゴリズムに縛られる平均的な一般化を意味することを証明している。 次に,ほとんどの学習アルゴリズムが共有する反復的な性質が,プライバシーの保護とさらなる一般化にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2020-07-18T09:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。