論文の概要: Gradient Diffusion: A Perturbation-Resilient Gradient Leakage Attack
- arxiv url: http://arxiv.org/abs/2407.05285v1
- Date: Sun, 7 Jul 2024 07:06:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 20:27:05.578334
- Title: Gradient Diffusion: A Perturbation-Resilient Gradient Leakage Attack
- Title（参考訳）: Gradient Diffusion: 摂動抵抗型Gradient Leakage攻撃
- Authors: Xuan Liu, Siqi Cai, Qihua Zhou, Song Guo, Ruibin Li, Kaiwei Lin,
- Abstract要約: 勾配保護は、フェデレートラーニング(FL)トレーニングプロセスにとって重要な問題である。
摂動抵抗性勾配漏洩攻撃(PGLA)を提案する。
我々の知見は、拡散逆過程における摂動の乱れレベルを捉えることで、勾配除雪能力が解放されるということである。
- 参考スコア（独自算出の注目度）: 13.764770382623812
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have witnessed the vulnerability of Federated Learning (FL) against gradient leakage attacks, where the private training data can be recovered from the exchanged gradients, making gradient protection a critical issue for the FL training process. Existing solutions often resort to perturbation-based mechanisms, such as differential privacy, where each participating client injects a specific amount of noise into local gradients before aggregating to the server, and the global distribution variation finally conceals the gradient privacy. However, perturbation is not always the panacea for gradient protection since the robustness heavily relies on the injected noise. This intuition raises an interesting question: \textit{is it possible to deactivate existing protection mechanisms by removing the perturbation inside the gradients?} In this paper, we present the answer: \textit{yes} and propose the Perturbation-resilient Gradient Leakage Attack (PGLA), the first attempt to recover the perturbed gradients, without additional access to the original model structure or third-party data. Specifically, we leverage the inherent diffusion property of gradient perturbation protection and construct a novel diffusion-based denoising model to implement PGLA. Our insight is that capturing the disturbance level of perturbation during the diffusion reverse process can release the gradient denoising capability, which promotes the diffusion model to generate approximate gradients as the original clean version through adaptive sampling steps. Extensive experiments demonstrate that PGLA effectively recovers the protected gradients and exposes the FL training process to the threat of gradient leakage, achieving the best quality in gradient denoising and data recovery compared to existing models. We hope to arouse public attention on PGLA and its defense.
- Abstract（参考訳）: 近年、Federated Learning (FL) がグラデーションリーク攻撃に対する脆弱性を目撃している。この攻撃では、交換された勾配からプライベートトレーニングデータを復元することができ、グラデーション保護がFLトレーニングプロセスにとって重要な問題となっている。
既存のソリューションは、差分プライバシーのような摂動に基づくメカニズムを頼りにしており、各クライアントはサーバに集約する前に特定の量のノイズを局所的な勾配に注入し、グローバルな分散のばらつきは最終的に勾配のプライバシーを隠蔽する。
しかし、強靭性は注入音に大きく依存するため、摂動は必ずしも勾配保護のためのパナセアではない。
この直観は興味深い疑問を提起する: \textit{?
そこで,本稿では,従来のモデル構造やサードパーティデータへのアクセスを必要とせず,摂動抵抗性勾配漏洩攻撃(PGLA)を提案する。
具体的には、勾配摂動保護の固有の拡散特性を活用し、PGLAを実装するための新しい拡散に基づくデノナイジングモデルを構築する。
我々の知見は、拡散逆過程における摂動の乱れレベルを捉えることで、拡散モデルが適応的なサンプリングステップによって元のクリーンバージョンとして近似勾配を生成することを促進できる勾配デノナイジング能力が解放できるということである。
広範な実験により、PGLAは保護された勾配を効果的に回復し、FLトレーニングプロセスを勾配漏れの脅威に晒し、既存のモデルと比較して勾配の劣化とデータ回復の最高の品質を達成することが示されている。
PGLAとその防衛に対する大衆の注意を喚起したい。
関連論文リスト
- CENSOR: Defense Against Gradient Inversion via Orthogonal Subspace Bayesian Sampling [63.07948989346385]
フェデレーション学習は、グローバルサーバ上でニューラルネットワークを協調的にトレーニングする。
各ローカルクライアントは、現在のグローバルモデルウェイトを受信し、そのローカルプライベートデータに基づいてパラメータ更新(グラディエント)を返送する。
既存の勾配反転攻撃は、クライアントの勾配ベクトルからプライベートトレーニングインスタンスを復元するためにこの脆弱性を利用することができる。
本稿では,大規模ニューラルネットワークモデルに適した新しい防衛手法を提案する。
論文 参考訳（メタデータ） (2025-01-27T01:06:23Z) - Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。
我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。
我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
論文 参考訳（メタデータ） (2024-10-21T22:40:42Z) - Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。
拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。
MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
論文 参考訳（メタデータ） (2024-05-01T12:03:39Z) - A Theoretical Insight into Attack and Defense of Gradient Leakage in
Transformer [11.770915202449517]
グラディエント(DLG)攻撃によるDeep Leakageは、交換勾配を検査してセンシティブなトレーニングデータを抽出する方法として、広く普及している。
本研究は, 変圧器モデルに特に適用した場合の勾配漏洩法を包括的に解析する。
論文 参考訳（メタデータ） (2023-11-22T09:58:01Z) - Gradpaint: Gradient-Guided Inpainting with Diffusion Models [71.47496445507862]
Denoising Diffusion Probabilistic Models (DDPM) は近年,条件付きおよび非条件付き画像生成において顕著な成果を上げている。
我々はGradPaintを紹介し、グローバルな一貫性のあるイメージに向けて世代を操る。
我々は、様々なデータセットで訓練された拡散モデルによく適応し、現在最先端の教師付きおよび教師なしの手法を改善している。
論文 参考訳（メタデータ） (2023-09-18T09:36:24Z) - Privacy Preserving Federated Learning with Convolutional Variational
Bottlenecks [2.1301560294088318]
近年,変分モデルに基づくPRECODE(PRivacy EnhanCing mODulE)を導入して,モデルユーティリティを損なうことなく勾配漏れを防止する手法が提案されている。
ニューラルネットワークにおけるPreCODEとそれに続く階層の勾配に変動モデルが導入されたことを示す。
攻撃最適化時の勾配勾配を意図的に省略することにより、PreCODEのプライバシー保護効果を無効にする攻撃を定式化する。
論文 参考訳（メタデータ） (2023-09-08T16:23:25Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳（メタデータ） (2023-08-09T04:34:21Z) - Sampling-based Fast Gradient Rescaling Method for Highly Transferable
Adversarial Attacks [18.05924632169541]
サンプリングに基づく高速勾配再スケーリング法(S-FGRM)を提案する。
具体的には、余分な計算コストを伴わずに手話関数を置換するためにデータ再スケーリングを用いる。
本手法は, 勾配に基づく攻撃の伝達可能性を大幅に向上させ, 最先端のベースラインより優れる可能性がある。
論文 参考訳（メタデータ） (2023-07-06T07:52:42Z) - Over-the-Air Federated Learning with Privacy Protection via Correlated
Additive Perturbations [57.20885629270732]
我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。
従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。
本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
論文 参考訳（メタデータ） (2022-10-05T13:13:35Z) - Sampling-based Fast Gradient Rescaling Method for Highly Transferable
Adversarial Attacks [19.917677500613788]
勾配ベースのアプローチは一般的に、プロセスの最後に摂動を生成するために$sign$関数を使用する。
そこで本研究では,S-FGRM(Saming-based Fast Gradient Rescaling Method)を提案する。
論文 参考訳（メタデータ） (2022-04-06T15:12:20Z) - Auditing Privacy Defenses in Federated Learning via Generative Gradient
Leakage [9.83989883339971]
Federated Learning (FL)フレームワークは、分散学習システムにプライバシーの利点をもたらす。
近年の研究では、共有情報を通じて個人情報を漏洩させることが報告されている。
我々は,GGL(Generative Gradient Leakage)と呼ばれる新しいタイプのリーク手法を提案する。
論文 参考訳（メタデータ） (2022-03-29T15:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。