論文の概要: Gradient Leakage Defense with Key-Lock Module for Federated Learning
- arxiv url: http://arxiv.org/abs/2305.04095v1
- Date: Sat, 6 May 2023 16:47:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 17:39:16.068194
- Title: Gradient Leakage Defense with Key-Lock Module for Federated Learning
- Title（参考訳）: 統合学習のためのキーロックモジュールを用いた勾配漏洩防御
- Authors: Hanchi Ren and Jingjing Deng and Xianghua Xie and Xiaoke Ma and
Jianfeng Ma
- Abstract要約: Federated Learning(FL)は、プライバシ保護機械学習アプローチとして広く採用されている。
最近の発見は、プライバシーが侵害され、共有勾配から機密情報が回収される可能性があることを示している。
秘密鍵ロックモジュールを用いて任意のモデルアーキテクチャをセキュアにするための新しい勾配リーク防御手法を提案する。
- 参考スコア（独自算出の注目度）: 14.411227689702997
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is a widely adopted privacy-preserving machine
learning approach where private data remains local, enabling secure
computations and the exchange of local model gradients between local clients
and third-party parameter servers. However, recent findings reveal that privacy
may be compromised and sensitive information potentially recovered from shared
gradients. In this study, we offer detailed analysis and a novel perspective on
understanding the gradient leakage problem. These theoretical works lead to a
new gradient leakage defense technique that secures arbitrary model
architectures using a private key-lock module. Only the locked gradient is
transmitted to the parameter server for global model aggregation. Our proposed
learning method is resistant to gradient leakage attacks, and the key-lock
module is designed and trained to ensure that, without the private information
of the key-lock module: a) reconstructing private training data from the shared
gradient is infeasible; and b) the global model's inference performance is
significantly compromised. We discuss the theoretical underpinnings of why
gradients can leak private information and provide theoretical proof of our
method's effectiveness. We conducted extensive empirical evaluations with a
total of forty-four models on several popular benchmarks, demonstrating the
robustness of our proposed approach in both maintaining model performance and
defending against gradient leakage attacks.
- Abstract（参考訳）: Federated Learning(FL)は、プライベートデータをローカルに保持する、広く採用されているプライバシ保護機械学習アプローチであり、セキュアな計算と、ローカルクライアントとサードパーティパラメータサーバ間のローカルモデル勾配の交換を可能にする。
しかし、最近の発見は、プライバシーが侵害され、機密情報が共有勾配から回収される可能性があることを示している。
本研究では,勾配漏洩問題を理解するための詳細な解析と新しい視点について述べる。
これらの理論的な作業は、プライベートキーロックモジュールを使用して任意のモデルアーキテクチャを保護する新しい勾配リーク防御技術をもたらす。
ロックされた勾配のみがパラメータサーバに送信され、グローバルモデルアグリゲーションとなる。
提案手法は,勾配漏洩攻撃に耐性があり,鍵ロックモジュールは,鍵ロックモジュールの個人情報がなければ確実に設計・訓練される。
a)共有勾配からのプライベートトレーニングデータの再構築は不可能であり、かつ
b)グローバルモデルの推論性能は著しく損なわれている。
そこで我々は,勾配が個人情報を漏洩させる理由の理論的基盤について論じ,提案手法の有効性を理論的に証明する。
提案手法は, モデル性能の維持と, 勾配漏洩攻撃に対する防御の両面において堅牢性を示すものである。
関連論文リスト
- FEDLAD: Federated Evaluation of Deep Leakage Attacks and Defenses [50.921333548391345]
フェデレーテッド・ラーニング(Federated Learning)は、分散型機械学習パラダイムをプライバシ保護するものだ。
近年の研究では、Deep Leakageと呼ばれる勾配技術によって、民間の真実データを復元できることが判明している。
本稿では、Deep Leakage攻撃と防御を評価するための総合的なベンチマークであるFEDLAD Framework(Federated Evaluation of Deep Leakage Attacks and Defenses)を紹介する。
論文 参考訳（メタデータ） (2024-11-05T11:42:26Z) - Gradients Stand-in for Defending Deep Leakage in Federated Learning [0.0]
本研究は, AdaDefense という勾配漏洩防止を目的とした, 効率的かつ効率的な手法を提案する。
提案手法は, 勾配リークを効果的に防止するだけでなく, モデル全体の性能に大きな影響を与えないことを保証する。
論文 参考訳（メタデータ） (2024-10-11T11:44:13Z) - Seeing the Forest through the Trees: Data Leakage from Partial Transformer Gradients [11.6665056456826]
1つのTransformer層からの勾配、あるいは0.54%のパラメータを持つ1つの線形コンポーネントでさえ、データの漏洩のトレーニングに影響を受けやすい。
トレーニング中の勾配に対する差分プライバシーの適用は、データ開示の新たな脆弱性に対する限定的な保護を提供する。
論文 参考訳（メタデータ） (2024-06-03T05:15:04Z) - Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。
近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。
本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
論文 参考訳（メタデータ） (2023-09-14T03:48:27Z) - FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated
Learning [66.56240101249803]
我々は,クライアントの強固化がグローバルモデル(および悪意のあるクライアント)に与える影響について検討する。
本稿では, 逆エンジニアリングによる防御手法を提案するとともに, 堅牢性を保証して, 改良を実現できることを示す。
競合する8つのSOTA防御法について, 単発および連続のFLバックドア攻撃に対して, 提案手法の実証的優位性を示した。
論文 参考訳（メタデータ） (2022-10-23T22:24:03Z) - Mixed Precision Quantization to Tackle Gradient Leakage Attacks in
Federated Learning [1.7205106391379026]
フェデレートラーニング(FL)は、明示的なデータ共有を必要とせずに、多数の参加者の間で協調的なモデル構築を可能にする。
このアプローチは、プライバシ推論攻撃を適用した際の脆弱性を示す。
特に、モデル勾配からセンシティブなデータを取得する上で高い成功率を持つ勾配リーク攻撃の場合、FLモデルは、その固有のアーキテクチャにおける通信の存在により、高いリスクを負う。
論文 参考訳（メタデータ） (2022-10-22T04:24:32Z) - Defense Against Gradient Leakage Attacks via Learning to Obscure Data [48.67836599050032]
フェデレートラーニングは、効果的なプライバシー保護学習メカニズムと考えられている。
本稿では,不明瞭なデータに学習することで,クライアントのデータ保護のための新しい防御手法を提案する。
論文 参考訳（メタデータ） (2022-06-01T21:03:28Z) - Auditing Privacy Defenses in Federated Learning via Generative Gradient
Leakage [9.83989883339971]
Federated Learning (FL)フレームワークは、分散学習システムにプライバシーの利点をもたらす。
近年の研究では、共有情報を通じて個人情報を漏洩させることが報告されている。
我々は,GGL(Generative Gradient Leakage)と呼ばれる新しいタイプのリーク手法を提案する。
論文 参考訳（メタデータ） (2022-03-29T15:59:59Z) - Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。
モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。
本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文 参考訳（メタデータ） (2022-02-14T18:33:12Z) - FedBoosting: Federated Learning with Gradient Protected Boosting for
Text Recognition [7.988454173034258]
フェデレートラーニング(FL)フレームワークは、データの集中化やデータオーナ間の共有なしに、共有モデルを協調的に学習することを可能にする。
本稿では,非独立性および非独立性分散(Non-IID)データに基づくジョイントモデルの一般化能力について述べる。
本稿では,FLの一般化と勾配リーク問題に対処する新しいブースティングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-14T18:47:23Z) - Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。
多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。
各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
論文 参考訳（メタデータ） (2020-06-27T19:08:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。