論文の概要: Gradient Diffusion: A Perturbation-Resilient Gradient Leakage Attack
- arxiv url: http://arxiv.org/abs/2407.05285v1
- Date: Sun, 7 Jul 2024 07:06:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 20:27:05.578334
- Title: Gradient Diffusion: A Perturbation-Resilient Gradient Leakage Attack
- Title（参考訳）: Gradient Diffusion: 摂動抵抗型Gradient Leakage攻撃
- Authors: Xuan Liu, Siqi Cai, Qihua Zhou, Song Guo, Ruibin Li, Kaiwei Lin,
- Abstract要約: 勾配保護は、フェデレートラーニング(FL)トレーニングプロセスにとって重要な問題である。
摂動抵抗性勾配漏洩攻撃(PGLA)を提案する。
我々の知見は、拡散逆過程における摂動の乱れレベルを捉えることで、勾配除雪能力が解放されるということである。
- 参考スコア（独自算出の注目度）: 13.764770382623812
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have witnessed the vulnerability of Federated Learning (FL) against gradient leakage attacks, where the private training data can be recovered from the exchanged gradients, making gradient protection a critical issue for the FL training process. Existing solutions often resort to perturbation-based mechanisms, such as differential privacy, where each participating client injects a specific amount of noise into local gradients before aggregating to the server, and the global distribution variation finally conceals the gradient privacy. However, perturbation is not always the panacea for gradient protection since the robustness heavily relies on the injected noise. This intuition raises an interesting question: \textit{is it possible to deactivate existing protection mechanisms by removing the perturbation inside the gradients?} In this paper, we present the answer: \textit{yes} and propose the Perturbation-resilient Gradient Leakage Attack (PGLA), the first attempt to recover the perturbed gradients, without additional access to the original model structure or third-party data. Specifically, we leverage the inherent diffusion property of gradient perturbation protection and construct a novel diffusion-based denoising model to implement PGLA. Our insight is that capturing the disturbance level of perturbation during the diffusion reverse process can release the gradient denoising capability, which promotes the diffusion model to generate approximate gradients as the original clean version through adaptive sampling steps. Extensive experiments demonstrate that PGLA effectively recovers the protected gradients and exposes the FL training process to the threat of gradient leakage, achieving the best quality in gradient denoising and data recovery compared to existing models. We hope to arouse public attention on PGLA and its defense.
- Abstract（参考訳）: 近年、Federated Learning (FL) がグラデーションリーク攻撃に対する脆弱性を目撃している。この攻撃では、交換された勾配からプライベートトレーニングデータを復元することができ、グラデーション保護がFLトレーニングプロセスにとって重要な問題となっている。
既存のソリューションは、差分プライバシーのような摂動に基づくメカニズムを頼りにしており、各クライアントはサーバに集約する前に特定の量のノイズを局所的な勾配に注入し、グローバルな分散のばらつきは最終的に勾配のプライバシーを隠蔽する。
しかし、強靭性は注入音に大きく依存するため、摂動は必ずしも勾配保護のためのパナセアではない。
この直観は興味深い疑問を提起する: \textit{?
そこで,本稿では,従来のモデル構造やサードパーティデータへのアクセスを必要とせず,摂動抵抗性勾配漏洩攻撃(PGLA)を提案する。
具体的には、勾配摂動保護の固有の拡散特性を活用し、PGLAを実装するための新しい拡散に基づくデノナイジングモデルを構築する。
我々の知見は、拡散逆過程における摂動の乱れレベルを捉えることで、拡散モデルが適応的なサンプリングステップによって元のクリーンバージョンとして近似勾配を生成することを促進できる勾配デノナイジング能力が解放できるということである。
広範な実験により、PGLAは保護された勾配を効果的に回復し、FLトレーニングプロセスを勾配漏れの脅威に晒し、既存のモデルと比較して勾配の劣化とデータ回復の最高の品質を達成することが示されている。
PGLAとその防衛に対する大衆の注意を喚起したい。
関連論文リスト
- Diffusion State-Guided Projected Gradient for Inverse Problems [82.24625224110099]
逆問題に対する拡散状態ガイド型射影勾配(DiffStateGrad)を提案する。
DiffStateGrad は拡散過程の中間状態の低ランク近似である部分空間に測定勾配を投影する。
DiffStateGradは、測定手順のステップサイズとノイズの選択によって拡散モデルのロバスト性を向上させる。
論文 参考訳（メタデータ） (2024-10-04T14:26:54Z) - Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。
拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。
MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
論文 参考訳（メタデータ） (2024-05-01T12:03:39Z) - A Theoretical Insight into Attack and Defense of Gradient Leakage in
Transformer [11.770915202449517]
グラディエント(DLG)攻撃によるDeep Leakageは、交換勾配を検査してセンシティブなトレーニングデータを抽出する方法として、広く普及している。
本研究は, 変圧器モデルに特に適用した場合の勾配漏洩法を包括的に解析する。
論文 参考訳（メタデータ） (2023-11-22T09:58:01Z) - Butterfly Effects of SGD Noise: Error Amplification in Behavior Cloning
and Autoregression [70.78523583702209]
深層ニューラルネットワークを用いた行動クローニングの訓練不安定性について検討した。
トレーニング中のSGD更新の最小化は,長期的報奨の急激な振動をもたらすことが観察された。
論文 参考訳（メタデータ） (2023-10-17T17:39:40Z) - Privacy Preserving Federated Learning with Convolutional Variational
Bottlenecks [2.1301560294088318]
近年,変分モデルに基づくPRECODE(PRivacy EnhanCing mODulE)を導入して,モデルユーティリティを損なうことなく勾配漏れを防止する手法が提案されている。
ニューラルネットワークにおけるPreCODEとそれに続く階層の勾配に変動モデルが導入されたことを示す。
攻撃最適化時の勾配勾配を意図的に省略することにより、PreCODEのプライバシー保護効果を無効にする攻撃を定式化する。
論文 参考訳（メタデータ） (2023-09-08T16:23:25Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳（メタデータ） (2023-08-09T04:34:21Z) - Sampling-based Fast Gradient Rescaling Method for Highly Transferable
Adversarial Attacks [18.05924632169541]
サンプリングに基づく高速勾配再スケーリング法(S-FGRM)を提案する。
具体的には、余分な計算コストを伴わずに手話関数を置換するためにデータ再スケーリングを用いる。
本手法は, 勾配に基づく攻撃の伝達可能性を大幅に向上させ, 最先端のベースラインより優れる可能性がある。
論文 参考訳（メタデータ） (2023-07-06T07:52:42Z) - Securing Distributed SGD against Gradient Leakage Threats [13.979995939926154]
本稿では, 勾配漏れ弾性分布勾配Descent (SGD) に対する総合的アプローチを提案する。
プライバシー強化型フェデレーション学習の2つの方法として, (i) ランダム選択や低ランクフィルタリングによるグラデーションプルーニング, (ii) 付加的ランダムノイズや差分プライバシーノイズによる勾配摂動について分析した。
本稿では,分散SGDをフェデレート学習において確保するための勾配リーク耐性手法を提案する。
論文 参考訳（メタデータ） (2023-05-10T21:39:27Z) - Over-the-Air Federated Learning with Privacy Protection via Correlated
Additive Perturbations [57.20885629270732]
我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。
従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。
本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
論文 参考訳（メタデータ） (2022-10-05T13:13:35Z) - Combining Variational Modeling with Partial Gradient Perturbation to
Prevent Deep Gradient Leakage [0.6021787236982659]
勾配反転攻撃は、ニューラルネットワークの協調学習において、ユビキタスな脅威である。
最近の研究は、任意のモデルアーキテクチャの拡張としてPPPalモデリングに基づくPRECODE(PRivacy EnhanCing mODulE)を提案する。
本研究では,PreCODEが勾配反転攻撃に与える影響について検討し,その基礎となる動作原理を明らかにする。
モデル性能を損なうことなく、効果的にプライバシを保護するために、我々のアプローチは勾配の摂動を少なくすることを示した。
論文 参考訳（メタデータ） (2022-08-09T13:23:29Z) - Unbiased Risk Estimators Can Mislead: A Case Study of Learning with
Complementary Labels [92.98756432746482]
我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。
勾配推定の品質はリスク最小化においてより重要であることを示す。
本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-05T04:19:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。