Fugu-MT 論文翻訳(概要): Securing Distributed SGD against Gradient Leakage Threats

論文の概要: Securing Distributed SGD against Gradient Leakage Threats

arxiv url: http://arxiv.org/abs/2305.06473v1
Date: Wed, 10 May 2023 21:39:27 GMT
ステータス: 処理完了
システム内更新日: 2023-05-12 16:37:56.054160
Title: Securing Distributed SGD against Gradient Leakage Threats
Title（参考訳）: グラディエントリーク脅威に対する分散SGDの確保
Authors: Wenqi Wei, Ling Liu, Jingya Zhou, Ka-Ho Chow, and Yanzhao Wu
Abstract要約: 本稿では, 勾配漏れ弾性分布勾配Descent (SGD) に対する総合的アプローチを提案する。プライバシー強化型フェデレーション学習の2つの方法として, (i) ランダム選択や低ランクフィルタリングによるグラデーションプルーニング, (ii) 付加的ランダムノイズや差分プライバシーノイズによる勾配摂動について分析した。本稿では,分散SGDをフェデレート学習において確保するための勾配リーク耐性手法を提案する。
参考スコア（独自算出の注目度）: 13.979995939926154
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper presents a holistic approach to gradient leakage resilient distributed Stochastic Gradient Descent (SGD). First, we analyze two types of strategies for privacy-enhanced federated learning: (i) gradient pruning with random selection or low-rank filtering and (ii) gradient perturbation with additive random noise or differential privacy noise. We analyze the inherent limitations of these approaches and their underlying impact on privacy guarantee, model accuracy, and attack resilience. Next, we present a gradient leakage resilient approach to securing distributed SGD in federated learning, with differential privacy controlled noise as the tool. Unlike conventional methods with the per-client federated noise injection and fixed noise parameter strategy, our approach keeps track of the trend of per-example gradient updates. It makes adaptive noise injection closely aligned throughout the federated model training. Finally, we provide an empirical privacy analysis on the privacy guarantee, model utility, and attack resilience of the proposed approach. Extensive evaluation using five benchmark datasets demonstrates that our gradient leakage resilient approach can outperform the state-of-the-art methods with competitive accuracy performance, strong differential privacy guarantee, and high resilience against gradient leakage attacks. The code associated with this paper can be found: https://github.com/git-disl/Fed-alphaCDP.
Abstract（参考訳）: 本稿では,SGD (Stochastic Gradient Descent) の勾配リーク耐性に対する総合的アプローチを提案する。まず,プライバシエンハンスド・フェデレーション学習における2つの戦略について分析する。 (i)ランダム選択または低ランクフィルタリングによる勾配プルーニング (ii)付加的ランダムノイズまたは差動プライバシノイズによる勾配摂動。これらのアプローチの本質的な制限と、プライバシ保証、モデルの正確性、攻撃レジリエンスへの影響を分析します。次に、差分プライバシー制御ノイズをツールとして、分散SGDをフェデレート学習で確保するための勾配リーク耐性アプローチを提案する。従来のクライアント毎のフェデレーションノイズインジェクションと固定ノイズパラメータ戦略とは異なり,本手法ではサンプル毎の勾配更新の傾向を追跡する。適応ノイズ注入は、連合モデルトレーニング全体を通して密に調整される。最後に,提案手法のプライバシ保証,モデルユーティリティ,攻撃レジリエンスに関する実証的プライバシー分析を行う。 5つのベンチマークデータセットを用いた広範囲な評価により、我々の勾配リーク耐性アプローチは、競合精度、強力な差分プライバシー保証、勾配リーク攻撃に対する高いレジリエンスで最先端の手法より優れていることが示される。この論文に関連するコードは、https://github.com/git-disl/fed-alphacdp。

関連論文リスト

Rethinking Improved Privacy-Utility Trade-off with Pre-existing Knowledge for DP Training [31.559864332056648]
異種雑音(DP-Hero)を有する一般微分プライバシーフレームワークを提案する。 DP-Hero上では、勾配更新に注入されたノイズが不均一であり、予め確立されたモデルパラメータによって誘導されるDP-SGDの異種バージョンをインスタンス化する。提案するDP-Heroの有効性を検証・説明するための総合的な実験を行い,最新技術と比較するとトレーニング精度が向上した。
論文参考訳（メタデータ） (2024-09-05T08:40:54Z)
Stable Neighbor Denoising for Source-free Domain Adaptive Segmentation [91.83820250747935]
擬似ラベルノイズは主に不安定なサンプルに含まれており、ほとんどのピクセルの予測は自己学習中に大きく変化する。我々は, 安定・不安定な試料を効果的に発見する, SND(Stable Neighbor Denoising)アプローチを導入する。 SNDは、様々なSFUDAセマンティックセグメンテーション設定における最先端メソッドよりも一貫して優れている。
論文参考訳（メタデータ） (2024-06-10T21:44:52Z)
Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文参考訳（メタデータ） (2023-11-24T17:56:44Z)
A Theoretical Insight into Attack and Defense of Gradient Leakage in Transformer [11.770915202449517]
グラディエント(DLG)攻撃によるDeep Leakageは、交換勾配を検査してセンシティブなトレーニングデータを抽出する方法として、広く普及している。本研究は, 変圧器モデルに特に適用した場合の勾配漏洩法を包括的に解析する。
論文参考訳（メタデータ） (2023-11-22T09:58:01Z)
DP-SGD with weight clipping [1.0878040851638]
従来の勾配クリッピングから生じるバイアスを緩和する新しい手法を提案する。探索領域内における現在のモデルのリプシッツ値の公開上界と現在の位置を有効利用することにより、改良されたノイズレベル調整を実現することができる。
論文参考訳（メタデータ） (2023-10-27T09:17:15Z)
Domain Generalization Guided by Gradient Signal to Noise Ratio of Parameters [69.24377241408851]
ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
論文参考訳（メタデータ） (2023-10-11T10:21:34Z)
MAPS: A Noise-Robust Progressive Learning Approach for Source-Free Domain Adaptive Keypoint Detection [76.97324120775475]
クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
論文参考訳（メタデータ） (2023-02-09T12:06:08Z)
Mixed Precision Quantization to Tackle Gradient Leakage Attacks in Federated Learning [1.7205106391379026]
フェデレートラーニング(FL)は、明示的なデータ共有を必要とせずに、多数の参加者の間で協調的なモデル構築を可能にする。このアプローチは、プライバシ推論攻撃を適用した際の脆弱性を示す。特に、モデル勾配からセンシティブなデータを取得する上で高い成功率を持つ勾配リーク攻撃の場合、FLモデルは、その固有のアーキテクチャにおける通信の存在により、高いリスクを負う。
論文参考訳（メタデータ） (2022-10-22T04:24:32Z)
Gradient Leakage Attack Resilient Deep Learning [7.893378392969824]
勾配の漏洩攻撃はディープラーニングで最も悪質なプライバシーの脅威の1つだ差分プライバシーを持つディープラーニングは、差分プライバシーを保証するディープラーニングモデルを公開するためのデファクトスタンダードである。本稿では,差分プライバシーを用いた勾配リーク耐性深層学習の代替手法について検討する。
論文参考訳（メタデータ） (2021-12-25T03:33:02Z)
Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文参考訳（メタデータ） (2020-05-01T04:28:38Z)
An Accuracy-Lossless Perturbation Method for Defending Privacy Attacks in Federated Learning [82.80836918594231]
フェデレーション学習は、生データではなく、局所的な勾配やパラメータを交換することで、トレーニングデータのプライバシを改善する。敵は、局所勾配とパラメータを利用して、再構築とメンバーシップ推論攻撃を起動することで、局所的なトレーニングデータを取得することができる。このようなプライバシ攻撃を防御するために、多くのノイズ摂動法が広く設計されている。
論文参考訳（メタデータ） (2020-02-23T06:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。