論文の概要: Differentially Private Federated Learning via Inexact ADMM
- arxiv url: http://arxiv.org/abs/2106.06127v1
- Date: Fri, 11 Jun 2021 02:28:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-14 14:12:03.794039
- Title: Differentially Private Federated Learning via Inexact ADMM
- Title（参考訳）: 不正確なADMMによる個人的フェデレーション学習
- Authors: Minseok Ryu and Kibaek Kim
- Abstract要約: 差分プライバシー(DP)技術は、データプライバシを推論攻撃から保護するために、フェデレーション付き学習モデルに適用することができる。
我々は,信頼領域のサブプロブレム列を解く乗算器アルゴリズムのDP不正確な交互方向法を開発した。
提案アルゴリズムは,既存のDPアルゴリズムと比較してテストエラーを少なくとも22%削減すると同時に,データプライバシのレベルも同等に向上する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differential privacy (DP) techniques can be applied to the federated learning
model to protect data privacy against inference attacks to communication among
the learning agents. The DP techniques, however, hinder achieving a greater
learning performance while ensuring strong data privacy. In this paper we
develop a DP inexact alternating direction method of multipliers algorithm that
solves a sequence of trust-region subproblems with the objective perturbation
by random noises generated from a Laplace distribution. We show that our
algorithm provides $\bar{\epsilon}$-DP for every iteration and
$\mathcal{O}(1/T)$ rate of convergence in expectation, where $T$ is the number
of iterations. Using MNIST and FEMNIST datasets for the image classification,
we demonstrate that our algorithm reduces the testing error by at most $22\%$
compared with the existing DP algorithm, while achieving the same level of data
privacy. The numerical experiment also shows that our algorithm converges
faster than the existing algorithm.
- Abstract（参考訳）: 差分プライバシー(DP)技術は、データプライバシを学習エージェント間の通信に対する推論攻撃から保護するために、フェデレーション学習モデルに適用することができる。
しかし、DPのテクニックは、強力なデータのプライバシーを確保しながら、学習性能の向上を妨げる。
本稿では,ラプラス分布から発生するランダムノイズによる目的的摂動を伴う信頼領域部分問題の列を解く,乗算アルゴリズムの非可逆交方向法を開発した。
我々のアルゴリズムは全ての反復に対して$\bar{\epsilon}$-DP と $\mathcal{O}(1/T)$ の期待収束率を示し、ここでは$T$ は反復数である。
MNIST と FEMNIST のデータセットを画像分類に用いて,既存の DP アルゴリズムと比較してテスト誤差を少なくとも2,2\% 削減し,同じレベルのデータプライバシーを実現することを示した。
また,本アルゴリズムは既存のアルゴリズムよりも高速に収束することを示す。
関連論文リスト
- Tractable MCMC for Private Learning with Pure and Gaussian Differential Privacy [23.12198546384976]
後方サンプリングは$varepsilon$-pure差分プライバシー保証を提供する。
これは、$(varepsilon,delta)$-approximate DPによって引き起こされた潜在的に束縛されていないプライバシー侵害に悩まされない。
しかし実際には、マルコフ連鎖モンテカルロのような近似的なサンプリング手法を適用する必要がある。
論文 参考訳（メタデータ） (2023-10-23T07:54:39Z) - Private Networked Federated Learning for Nonsmooth Objectives [7.278228169713637]
本稿では,非平滑な目的関数を解くためのネットワーク型フェデレーション学習アルゴリズムを提案する。
参加者の秘密性を保証するため、ゼロ集中型微分プライバシー概念(zCDP)を用いる。
プライバシ保証とアルゴリズムの正確な解への収束の完全な理論的証明を提供する。
論文 参考訳（メタデータ） (2023-06-24T16:13:28Z) - Differentially-Private Hierarchical Clustering with Provable
Approximation Guarantees [79.59010418610625]
階層クラスタリングのための微分プライベート近似アルゴリズムについて検討する。
例えば、$epsilon$-DPアルゴリズムは入力データセットに対して$O(|V|2/epsilon)$-additiveエラーを示さなければならない。
本稿では,ブロックを正確に復元する1+o(1)$近似アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-01-31T19:14:30Z) - Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。
我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文 参考訳（メタデータ） (2022-10-14T01:42:05Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - On Private Online Convex Optimization: Optimal Algorithms in
$\ell_p$-Geometry and High Dimensional Contextual Bandits [9.798304879986604]
本研究では,分散分布からサンプリングしたストリーミングデータを用いてDPの凸最適化問題について検討し,逐次到着する。
また、プライベート情報に関連するパラメータを更新し、新しいデータ(しばしばオンラインアルゴリズム)に基づいてリリースする連続リリースモデルについても検討する。
提案アルゴリズムは,1pleq 2$のときの最適余剰リスクと,2pleqinfty$のときの非プライベートな場合の最先端の余剰リスクを線形時間で達成する。
論文 参考訳（メタデータ） (2022-06-16T12:09:47Z) - Differentially Private Federated Learning via Inexact ADMM with Multiple
Local Updates [0.0]
我々は,複数の局所的な更新を施した乗算器アルゴリズムのDP不正確な交互方向法を開発した。
当社のアルゴリズムでは,各イテレーション毎に$barepsilon$-DPを提供しており,$barepsilon$はユーザが管理するプライバシ予算である。
提案アルゴリズムは,既存のDPアルゴリズムと比較してテストエラーを少なくとも31%削減すると同時に,データプライバシのレベルが同じであることを実証する。
論文 参考訳（メタデータ） (2022-02-18T19:58:47Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳（メタデータ） (2021-02-23T18:25:13Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z) - User-Level Privacy-Preserving Federated Learning: Analysis and
Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。
情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。
サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-29T10:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。