論文の概要: Revisiting Gradient Pruning: A Dual Realization for Defending against
Gradient Attacks
- arxiv url: http://arxiv.org/abs/2401.16687v1
- Date: Tue, 30 Jan 2024 02:18:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 16:32:35.683942
- Title: Revisiting Gradient Pruning: A Dual Realization for Defending against
Gradient Attacks
- Title（参考訳）: グラデーションプルーニングの再検討 - グラデーション攻撃に対する防御のための2重実現
- Authors: Lulu Xue, Shengshan Hu, Ruizhi Zhao, Leo Yu Zhang, Shengqing Hu,
Lichao Sun, Dezhong Yao
- Abstract要約: コラボレーション学習(Collaborative Learning, CL)は,勾配更新のみを共有することによって,モデルを共同でトレーニングする分散学習フレームワークである。
共有勾配からユーザーのトレーニングデータを復元するグラデーションインバージョンアタック(GIA)は、CLに深刻なプライバシー上の脅威を課す。
本稿では,CLの実用性とプライバシを保ちながら通信効率を向上させる新しい防衛手法であるデュアルグラディエント・プルーニング(DGP)を提案する。
- 参考スコア（独自算出の注目度）: 16.037627212754487
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Collaborative learning (CL) is a distributed learning framework that aims to
protect user privacy by allowing users to jointly train a model by sharing
their gradient updates only. However, gradient inversion attacks (GIAs), which
recover users' training data from shared gradients, impose severe privacy
threats to CL. Existing defense methods adopt different techniques, e.g.,
differential privacy, cryptography, and perturbation defenses, to defend
against the GIAs. Nevertheless, all current defense methods suffer from a poor
trade-off between privacy, utility, and efficiency. To mitigate the weaknesses
of existing solutions, we propose a novel defense method, Dual Gradient Pruning
(DGP), based on gradient pruning, which can improve communication efficiency
while preserving the utility and privacy of CL. Specifically, DGP slightly
changes gradient pruning with a stronger privacy guarantee. And DGP can also
significantly improve communication efficiency with a theoretical analysis of
its convergence and generalization. Our extensive experiments show that DGP can
effectively defend against the most powerful GIAs and reduce the communication
cost without sacrificing the model's utility.
- Abstract（参考訳）: コラボレーション学習(Collaborative Learning, CL)は、ユーザのプライバシ保護を目的とした分散学習フレームワークである。
しかし、共有勾配からユーザーのトレーニングデータを復元するgradient inversion attack(gias)は、clに厳しいプライバシーの脅威を課している。
既存の防衛手法では、微分プライバシー、暗号、摂動防御など、giasに対して異なる手法が採用されている。
それでも、現在の防衛手法はすべて、プライバシ、ユーティリティ、効率のトレードオフに苦しめられている。
既存のソリューションの弱点を軽減するため,CLの実用性とプライバシを保ちつつ通信効率を向上させるため,グラデーションプルーニングに基づく新しいディフェンス手法DGPを提案する。
具体的には、DGPはより強力なプライバシー保証でグラデーションプルーニングをわずかに変更する。
またDGPはその収束と一般化の理論解析により通信効率を著しく向上させることができる。
我々の広範な実験により、DGPはモデルの有用性を犠牲にすることなく、最も強力なGIAに対して効果的に防御でき、通信コストを削減できることが示された。
関連論文リスト
- Ungeneralizable Examples [70.76487163068109]
学習不能なデータを作成するための現在のアプローチには、小さくて特殊なノイズが組み込まれている。
学習不能データの概念を条件付きデータ学習に拡張し、textbfUntextbf Generalizable textbfExamples (UGEs)を導入する。
UGEは認証されたユーザに対して学習性を示しながら、潜在的なハッカーに対する非学習性を維持している。
論文 参考訳（メタデータ） (2024-04-22T09:29:14Z) - Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。
近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。
本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
論文 参考訳（メタデータ） (2023-09-14T03:48:27Z) - Everything Perturbed All at Once: Enabling Differentiable Graph Attacks [61.61327182050706]
グラフニューラルネットワーク(GNN)は敵の攻撃に弱いことが示されている。
本稿では,DGA(Dariable Graph Attack)と呼ばれる新しい攻撃手法を提案し,効果的な攻撃を効率的に生成する。
最先端と比較して、DGAは6倍のトレーニング時間と11倍のGPUメモリフットプリントでほぼ同等の攻撃性能を達成する。
論文 参考訳（メタデータ） (2023-08-29T20:14:42Z) - Refiner: Data Refining against Gradient Leakage Attacks in Federated
Learning [28.76786159247595]
グラデーションリーク攻撃は クライアントのアップロードした勾配を利用して 機密データを再構築する
本稿では,従来の勾配摂動から分離した新しい防御パラダイムについて検討する。
プライバシ保護とパフォーマンス維持のための2つのメトリクスを共同で最適化するRefinerを設計する。
論文 参考訳（メタデータ） (2022-12-05T05:36:15Z) - FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated
Learning [66.56240101249803]
我々は,クライアントの強固化がグローバルモデル(および悪意のあるクライアント)に与える影響について検討する。
本稿では, 逆エンジニアリングによる防御手法を提案するとともに, 堅牢性を保証して, 改良を実現できることを示す。
競合する8つのSOTA防御法について, 単発および連続のFLバックドア攻撃に対して, 提案手法の実証的優位性を示した。
論文 参考訳（メタデータ） (2022-10-23T22:24:03Z) - Learning to Invert: Simple Adaptive Attacks for Gradient Inversion in
Federated Learning [31.374376311614675]
グラディエント・インバージョン・アタックは、フェデレート学習におけるモデル勾配からのトレーニングサンプルの回復を可能にする。
既存の防御は、単純な適応攻撃によって破壊される可能性があることを示す。
論文 参考訳（メタデータ） (2022-10-19T20:41:30Z) - Over-the-Air Federated Learning with Privacy Protection via Correlated
Additive Perturbations [57.20885629270732]
我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。
従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。
本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
論文 参考訳（メタデータ） (2022-10-05T13:13:35Z) - Defense Against Gradient Leakage Attacks via Learning to Obscure Data [48.67836599050032]
フェデレートラーニングは、効果的なプライバシー保護学習メカニズムと考えられている。
本稿では,不明瞭なデータに学習することで,クライアントのデータ保護のための新しい防御手法を提案する。
論文 参考訳（メタデータ） (2022-06-01T21:03:28Z) - Auditing Privacy Defenses in Federated Learning via Generative Gradient
Leakage [9.83989883339971]
Federated Learning (FL)フレームワークは、分散学習システムにプライバシーの利点をもたらす。
近年の研究では、共有情報を通じて個人情報を漏洩させることが報告されている。
我々は,GGL(Generative Gradient Leakage)と呼ばれる新しいタイプのリーク手法を提案する。
論文 参考訳（メタデータ） (2022-03-29T15:59:59Z) - FedBoosting: Federated Learning with Gradient Protected Boosting for
Text Recognition [7.988454173034258]
フェデレートラーニング(FL)フレームワークは、データの集中化やデータオーナ間の共有なしに、共有モデルを協調的に学習することを可能にする。
本稿では,非独立性および非独立性分散(Non-IID)データに基づくジョイントモデルの一般化能力について述べる。
本稿では,FLの一般化と勾配リーク問題に対処する新しいブースティングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-14T18:47:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。