論文の概要: Securing Distributed SGD against Gradient Leakage Threats
- arxiv url: http://arxiv.org/abs/2305.06473v1
- Date: Wed, 10 May 2023 21:39:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-12 16:37:56.054160
- Title: Securing Distributed SGD against Gradient Leakage Threats
- Title(参考訳): グラディエントリーク脅威に対する分散SGDの確保
- Authors: Wenqi Wei, Ling Liu, Jingya Zhou, Ka-Ho Chow, and Yanzhao Wu
- Abstract要約: 本稿では, 勾配漏れ弾性分布勾配Descent (SGD) に対する総合的アプローチを提案する。
プライバシー強化型フェデレーション学習の2つの方法として, (i) ランダム選択や低ランクフィルタリングによるグラデーションプルーニング, (ii) 付加的ランダムノイズや差分プライバシーノイズによる勾配摂動について分析した。
本稿では,分散SGDをフェデレート学習において確保するための勾配リーク耐性手法を提案する。
- 参考スコア(独自算出の注目度): 13.979995939926154
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a holistic approach to gradient leakage resilient
distributed Stochastic Gradient Descent (SGD). First, we analyze two types of
strategies for privacy-enhanced federated learning: (i) gradient pruning with
random selection or low-rank filtering and (ii) gradient perturbation with
additive random noise or differential privacy noise. We analyze the inherent
limitations of these approaches and their underlying impact on privacy
guarantee, model accuracy, and attack resilience. Next, we present a gradient
leakage resilient approach to securing distributed SGD in federated learning,
with differential privacy controlled noise as the tool. Unlike conventional
methods with the per-client federated noise injection and fixed noise parameter
strategy, our approach keeps track of the trend of per-example gradient
updates. It makes adaptive noise injection closely aligned throughout the
federated model training. Finally, we provide an empirical privacy analysis on
the privacy guarantee, model utility, and attack resilience of the proposed
approach. Extensive evaluation using five benchmark datasets demonstrates that
our gradient leakage resilient approach can outperform the state-of-the-art
methods with competitive accuracy performance, strong differential privacy
guarantee, and high resilience against gradient leakage attacks. The code
associated with this paper can be found:
https://github.com/git-disl/Fed-alphaCDP.
- Abstract(参考訳): 本稿では,SGD (Stochastic Gradient Descent) の勾配リーク耐性に対する総合的アプローチを提案する。
まず,プライバシエンハンスド・フェデレーション学習における2つの戦略について分析する。
(i)ランダム選択または低ランクフィルタリングによる勾配プルーニング
(ii)付加的ランダムノイズまたは差動プライバシノイズによる勾配摂動。
これらのアプローチの本質的な制限と、プライバシ保証、モデルの正確性、攻撃レジリエンスへの影響を分析します。
次に、差分プライバシー制御ノイズをツールとして、分散SGDをフェデレート学習で確保するための勾配リーク耐性アプローチを提案する。
従来のクライアント毎のフェデレーションノイズインジェクションと固定ノイズパラメータ戦略とは異なり,本手法ではサンプル毎の勾配更新の傾向を追跡する。
適応ノイズ注入は、連合モデルトレーニング全体を通して密に調整される。
最後に,提案手法のプライバシ保証,モデルユーティリティ,攻撃レジリエンスに関する実証的プライバシー分析を行う。
5つのベンチマークデータセットを用いた広範囲な評価により、我々の勾配リーク耐性アプローチは、競合精度、強力な差分プライバシー保証、勾配リーク攻撃に対する高いレジリエンスで最先端の手法より優れていることが示される。
この論文に関連するコードは、https://github.com/git-disl/fed-alphacdp。
関連論文リスト
- Differentially Private SGD Without Clipping Bias: An Error-Feedback
Approach [67.7315816158682]
Differentially Private Gradient Descent with gradient clipping (DPSGD-GC)は、ディープラーニングモデルをトレーニングするための強力なツールである。
DPノイズインジェクションと勾配クリッピングによるモデル性能劣化のコストがかかる。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-24T17:56:44Z) - A Theoretical Insight into Attack and Defense of Gradient Leakage in
Transformer [11.770915202449517]
グラディエント(DLG)攻撃によるDeep Leakageは、交換勾配を検査してセンシティブなトレーニングデータを抽出する方法として、広く普及している。
本研究は, 変圧器モデルに特に適用した場合の勾配漏洩法を包括的に解析する。
論文 参考訳(メタデータ) (2023-11-22T09:58:01Z) - DP-SGD with weight clipping [1.0878040851638]
従来の勾配クリッピングから生じるバイアスを緩和する新しい手法を提案する。
探索領域内における現在のモデルのリプシッツ値の公開上界と現在の位置を有効利用することにより、改良されたノイズレベル調整を実現することができる。
論文 参考訳(メタデータ) (2023-10-27T09:17:15Z) - Domain Generalization Guided by Gradient Signal to Noise Ratio of
Parameters [69.24377241408851]
ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。
本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
論文 参考訳(メタデータ) (2023-10-11T10:21:34Z) - MAPS: A Noise-Robust Progressive Learning Approach for Source-Free
Domain Adaptive Keypoint Detection [76.97324120775475]
クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。
本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
論文 参考訳(メタデータ) (2023-02-09T12:06:08Z) - Mixed Precision Quantization to Tackle Gradient Leakage Attacks in
Federated Learning [1.7205106391379026]
フェデレートラーニング(FL)は、明示的なデータ共有を必要とせずに、多数の参加者の間で協調的なモデル構築を可能にする。
このアプローチは、プライバシ推論攻撃を適用した際の脆弱性を示す。
特に、モデル勾配からセンシティブなデータを取得する上で高い成功率を持つ勾配リーク攻撃の場合、FLモデルは、その固有のアーキテクチャにおける通信の存在により、高いリスクを負う。
論文 参考訳(メタデータ) (2022-10-22T04:24:32Z) - Combining Variational Modeling with Partial Gradient Perturbation to
Prevent Deep Gradient Leakage [0.6021787236982659]
勾配反転攻撃は、ニューラルネットワークの協調学習において、ユビキタスな脅威である。
最近の研究は、任意のモデルアーキテクチャの拡張としてPPPalモデリングに基づくPRECODE(PRivacy EnhanCing mODulE)を提案する。
本研究では,PreCODEが勾配反転攻撃に与える影響について検討し,その基礎となる動作原理を明らかにする。
モデル性能を損なうことなく、効果的にプライバシを保護するために、我々のアプローチは勾配の摂動を少なくすることを示した。
論文 参考訳(メタデータ) (2022-08-09T13:23:29Z) - Gradient Leakage Attack Resilient Deep Learning [7.893378392969824]
勾配の漏洩攻撃は ディープラーニングで最も悪質な プライバシーの脅威の1つだ
差分プライバシーを持つディープラーニングは、差分プライバシーを保証するディープラーニングモデルを公開するためのデファクトスタンダードである。
本稿では,差分プライバシーを用いた勾配リーク耐性深層学習の代替手法について検討する。
論文 参考訳(メタデータ) (2021-12-25T03:33:02Z) - RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial
Network [75.81653258081435]
GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。
しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。
本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
論文 参考訳(メタデータ) (2020-07-04T09:51:02Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳(メタデータ) (2020-05-01T04:28:38Z) - An Accuracy-Lossless Perturbation Method for Defending Privacy Attacks
in Federated Learning [82.80836918594231]
フェデレーション学習は、生データではなく、局所的な勾配やパラメータを交換することで、トレーニングデータのプライバシを改善する。
敵は、局所勾配とパラメータを利用して、再構築とメンバーシップ推論攻撃を起動することで、局所的なトレーニングデータを取得することができる。
このようなプライバシ攻撃を防御するために、多くのノイズ摂動法が広く設計されている。
論文 参考訳(メタデータ) (2020-02-23T06:50:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。