Fugu-MT 論文翻訳(概要): Breaking Secure Aggregation: Label Leakage from Aggregated Gradients in Federated Learning

論文の概要: Breaking Secure Aggregation: Label Leakage from Aggregated Gradients in Federated Learning

arxiv url: http://arxiv.org/abs/2406.15731v1
Date: Sat, 22 Jun 2024 04:42:18 GMT
ステータス: 処理完了
システム内更新日: 2024-06-25 20:54:52.664792
Title: Breaking Secure Aggregation: Label Leakage from Aggregated Gradients in Federated Learning
Title（参考訳）: 安全な集合を破る:フェデレーションラーニングにおける集合的グラディエントからのラベル漏洩
Authors: Zhibo Wang, Zhiwei Chang, Jiahui Hu, Xiaoyi Pang, Jiacheng Du, Yongle Chen, Kui Ren,
Abstract要約: Federated Learningは、勾配反転攻撃(GIA)下でのプライバシーの脆弱性を示すセキュリティアグリゲーション(SA)を回避し、個々のクライアントのプライベートラベルを復元するために、ステルスなラベル推論攻撃を提案する。我々の攻撃は、様々なデータセットやモデルアーキテクチャ上で、100%精度で大規模なラベル回復を実現する。
参考スコア（独自算出の注目度）: 11.18348760596715
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Learning (FL) exhibits privacy vulnerabilities under gradient inversion attacks (GIAs), which can extract private information from individual gradients. To enhance privacy, FL incorporates Secure Aggregation (SA) to prevent the server from obtaining individual gradients, thus effectively resisting GIAs. In this paper, we propose a stealthy label inference attack to bypass SA and recover individual clients' private labels. Specifically, we conduct a theoretical analysis of label inference from the aggregated gradients that are exclusively obtained after implementing SA. The analysis results reveal that the inputs (embeddings) and outputs (logits) of the final fully connected layer (FCL) contribute to gradient disaggregation and label restoration. To preset the embeddings and logits of FCL, we craft a fishing model by solely modifying the parameters of a single batch normalization (BN) layer in the original model. Distributing client-specific fishing models, the server can derive the individual gradients regarding the bias of FCL by resolving a linear system with expected embeddings and the aggregated gradients as coefficients. Then the labels of each client can be precisely computed based on preset logits and gradients of FCL's bias. Extensive experiments show that our attack achieves large-scale label recovery with 100\% accuracy on various datasets and model architectures.
Abstract（参考訳）: Federated Learning (FL)は、勾配反転攻撃(GIA)の下でプライバシー上の脆弱性を示し、個々の勾配から個人情報を抽出する。プライバシーを強化するため、FLはセキュアアグリゲーション(SA)を導入し、サーバが個別の勾配を得るのを防ぐ。本稿では,SAをバイパスし,個々のクライアントのプライベートラベルを復元するために,ステルスなラベル推論攻撃を提案する。具体的には、SAの実装後にのみ得られる集約勾配からラベル推論を理論的に解析する。その結果、最終完全連結層(FCL)の入力(埋め込み)と出力(論理)が勾配分解とラベル復元に寄与していることが判明した。 FCLの埋め込みとロジットをプリセットするために、元のモデルで単一のバッチ正規化(BN)層のパラメータを単に修正して漁モデルを構築する。クライアント固有の漁獲モデルを提供することで、サーバは、期待される埋め込みを伴う線形システムと集約された勾配を係数として解決することにより、FCLのバイアスに関する個々の勾配を導出することができる。すると、各クライアントのラベルは、予め設定されたロジットとFCLのバイアスの勾配に基づいて正確に計算できる。大規模な実験により,様々なデータセットやモデルアーキテクチャ上で,100倍の精度で大規模ラベル回復を実現することができた。

関連論文リスト

Gradient Diffusion: A Perturbation-Resilient Gradient Leakage Attack [13.764770382623812]
勾配保護は、フェデレートラーニング(FL)トレーニングプロセスにとって重要な問題である。摂動抵抗性勾配漏洩攻撃(PGLA)を提案する。我々の知見は、拡散逆過程における摂動の乱れレベルを捉えることで、勾配除雪能力が解放されるということである。
論文参考訳（メタデータ） (2024-07-07T07:06:49Z)
R-CONV: An Analytical Approach for Efficient Data Reconstruction via Convolutional Gradients [40.209183669098735]
本稿では,畳み込み層の勾配を効率的に利用するための高度なデータ漏洩手法を提案する。我々の知る限りでは、これは勾配から直接畳み込み層の入力を再構築する最初の分析手法である。
論文参考訳（メタデータ） (2024-06-06T16:28:04Z)
Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
論文参考訳（メタデータ） (2024-05-01T12:03:39Z)
Understanding Deep Gradient Leakage via Inversion Influence Functions [53.1839233598743]
Deep Gradient Leakage (DGL)は、勾配ベクトルからプライベートトレーニングイメージを復元する非常に効果的な攻撃である。得られた画像とプライベート勾配との間の閉形式接続を確立する新しいインバージョンインフルエンス関数(I$2$F)を提案する。 I$2$Fは、一般的に異なるモデルアーキテクチャ、データセット、アタック実装、摂動に基づく防御に基づいてDGLを効果的に近似したことを実証的に実証した。
論文参考訳（メタデータ） (2023-09-22T17:26:24Z)
Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
論文参考訳（メタデータ） (2023-09-14T03:48:27Z)
GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文参考訳（メタデータ） (2023-08-09T04:34:21Z)
Modulate Your Spectrum in Self-Supervised Learning [65.963806450552]
ホワイトニング損失は、自己教師付き学習における特徴の崩壊に対する理論的保証を提供する。埋め込みのスペクトルを変調するフレームワークであるスペクトル変換(ST)を導入する。我々は、トレースロス(INTL)を持つIterNormという新しいSTインスタンスを提案する。
論文参考訳（メタデータ） (2023-05-26T09:59:48Z)
Gradient Leakage Defense with Key-Lock Module for Federated Learning [14.411227689702997]
Federated Learning(FL)は、プライバシ保護機械学習アプローチとして広く採用されている。最近の発見は、プライバシーが侵害され、共有勾配から機密情報が回収される可能性があることを示している。秘密鍵ロックモジュールを用いて任意のモデルアーキテクチャをセキュアにするための新しい勾配リーク防御手法を提案する。
論文参考訳（メタデータ） (2023-05-06T16:47:52Z)
Label Inference Attack against Split Learning under Regression Setting [24.287752556622312]
回帰モデルのシナリオにおいて,プライベートラベルが連続数である場合の漏洩について検討する。グラデーション情報と追加学習正規化目標を統合した,新たな学習ベースアタックを提案する。
論文参考訳（メタデータ） (2023-01-18T03:17:24Z)
Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
論文参考訳（メタデータ） (2020-06-27T19:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。