論文の概要: Lossless Privacy-Preserving Aggregation for Decentralized Federated Learning
- arxiv url: http://arxiv.org/abs/2501.04409v1
- Date: Wed, 08 Jan 2025 10:49:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-09 14:55:28.386996
- Title: Lossless Privacy-Preserving Aggregation for Decentralized Federated Learning
- Title（参考訳）: 分散型フェデレーション学習における損失のないプライバシ保護アグリゲーション
- Authors: Xiaoye Miao, Bin Li, Yangyang Wu, Meng Xi, Xinkui Zhao, Jianwei Yin,
- Abstract要約: 我々は,勾配保護を強化するために,LPPAという新しいプライバシー保護アグリゲーションルールを提案する。
LPPAは、送信されたノイズと受信したノイズのノイズ差を、勾配保護のために送信された勾配に微妙に注入する。
LPPAは雑音付加よりも精度が13%向上したことを示す。
- 参考スコア（独自算出の注目度）: 20.76298827428136
- License:
- Abstract: Privacy concerns arise as sensitive data proliferate. Despite decentralized federated learning (DFL) aggregating gradients from neighbors to avoid direct data transmission, it still poses indirect data leaks from the transmitted gradients. Existing privacy-preserving methods for DFL add noise to gradients. They either diminish the model predictive accuracy or suffer from ineffective gradient protection. In this paper, we propose a novel lossless privacy-preserving aggregation rule named LPPA to enhance gradient protection as much as possible but without loss of DFL model predictive accuracy. LPPA subtly injects the noise difference between the sent and received noise into transmitted gradients for gradient protection. The noise difference incorporates neighbors' randomness for each client, effectively safeguarding against data leaks. LPPA employs the noise flow conservation theory to ensure that the noise impact can be globally eliminated. The global sum of all noise differences remains zero, ensuring that accurate gradient aggregation is unaffected and the model accuracy remains intact. We theoretically prove that the privacy-preserving capacity of LPPA is \sqrt{2} times greater than that of noise addition, while maintaining comparable model accuracy to the standard DFL aggregation without noise injection. Experimental results verify the theoretical findings and show that LPPA achieves a 13% mean improvement in accuracy over noise addition. We also demonstrate the effectiveness of LPPA in protecting raw data and guaranteeing lossless model accuracy.
- Abstract（参考訳）: プライバシーに関する懸念は、機密データが急増するにつれて生じる。
分散化された連邦学習(DFL)は、直接データ伝送を避けるために隣人からの勾配を集約するが、それでも送信された勾配から間接的なデータ漏洩を引き起こす。
DFLの既存のプライバシー保護手法は勾配にノイズを加える。
予測精度を低下させるか、非効率な勾配保護に苦しむ。
本稿では,DFLモデル予測精度を損なうことなく,可能な限り勾配保護を強化するために,LPPAという新たな無害なプライバシ保護集約ルールを提案する。
LPPAは、送信されたノイズと受信したノイズのノイズ差を、勾配保護のために送信された勾配に微妙に注入する。
ノイズ差は、各クライアントに対する隣人のランダム性を取り入れ、データリークに対して効果的に保護する。
LPPAはノイズフロー保存理論を用いて、ノイズの影響をグローバルに排除することができる。
全てのノイズ差の総和はゼロのままであり、正確な勾配の凝集は影響されず、モデルの精度はそのままである。
LPPAのプライバシ保存能力は,ノイズ注入を伴わない標準DFLアグリゲーションに匹敵するモデル精度を維持しつつ,ノイズ付加の2倍であることを示す。
実験結果から, LPPAは雑音付加よりも平均13%の精度向上を達成できた。
また、LPPAが生データを保護し、損失のないモデルの精度を保証できることを示す。
関連論文リスト
- LDPKiT: Recovering Utility in LDP Schemes by Training with Noise^2 [7.879470113673807]
LDPKiTは,知識伝達による地域差分とユーティリティ保存推論の略である。
CIFAR-10, Fashion-MNIST, SVHN, CARER NLPデータセットを用いた実験により, LDPKiTはプライバシーを損なうことなく実用性を向上させることができることを示した。
論文 参考訳（メタデータ） (2024-05-25T21:53:58Z) - Adaptive Differential Privacy in Federated Learning: A Priority-Based
Approach [0.0]
フェデレートラーニング(FL)は、ローカルデータセットに直接アクセスせずにグローバルモデルを開発する。
DPはパラメータに一定のノイズを加えることで、プライバシーを保証するフレームワークを提供する。
本稿では,特徴量の相対的重要度に基づいて入射雑音の値を決定するFLの適応雑音付加法を提案する。
論文 参考訳（メタデータ） (2024-01-04T03:01:15Z) - FedDiv: Collaborative Noise Filtering for Federated Learning with Noisy
Labels [99.70895640578816]
雑音ラベル付きフェデレーション学習(F-LNL)は,協調型分散学習を通じて最適なサーバモデルを求めることを目的としている。
我々はF-LNLの課題に取り組むためにFedDivを提案し、特にフェデレートノイズフィルタと呼ばれるグローバルノイズフィルタを提案する。
論文 参考訳（メタデータ） (2023-12-19T15:46:47Z) - Securing Distributed SGD against Gradient Leakage Threats [13.979995939926154]
本稿では, 勾配漏れ弾性分布勾配Descent (SGD) に対する総合的アプローチを提案する。
プライバシー強化型フェデレーション学習の2つの方法として, (i) ランダム選択や低ランクフィルタリングによるグラデーションプルーニング, (ii) 付加的ランダムノイズや差分プライバシーノイズによる勾配摂動について分析した。
本稿では,分散SGDをフェデレート学習において確保するための勾配リーク耐性手法を提案する。
論文 参考訳（メタデータ） (2023-05-10T21:39:27Z) - Towards the Flatter Landscape and Better Generalization in Federated
Learning under Client-level Differential Privacy [67.33715954653098]
本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。
具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。
より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
論文 参考訳（メタデータ） (2023-05-01T15:19:09Z) - Amplitude-Varying Perturbation for Balancing Privacy and Utility in
Federated Learning [86.08285033925597]
本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。
我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。
新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
論文 参考訳（メタデータ） (2023-03-07T22:52:40Z) - Over-the-Air Federated Learning with Privacy Protection via Correlated
Additive Perturbations [57.20885629270732]
我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。
従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。
本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
論文 参考訳（メタデータ） (2022-10-05T13:13:35Z) - A Differentially Private Framework for Deep Learning with Convexified
Loss Functions [4.059849656394191]
差分プライバシー(DP)は、基礎となるトレーニングセットのプライバシーを保護するためにディープラーニングに応用されている。
既存のDP実践は、客観的摂動、勾配摂動、出力摂動の3つのカテゴリに分類される。
本稿では,DPノイズをランダムにサンプリングしたニューロンに注入し,新しい出力摂動機構を提案する。
論文 参考訳（メタデータ） (2022-04-03T11:10:05Z) - Private and Utility Enhanced Recommendations with Local Differential
Privacy and Gaussian Mixture Model [14.213973630742666]
ローカル差動プライバシー(LDP)ベースの摂動メカニズムは、サービスプロバイダー(SP)に送信する前に、ユーザー側のユーザーデータにノイズを追加します。
LDPはユーザーのプライバシーをSPから保護しますが、予測精度が大幅に低下します。
提案手法は, LDPの原則に違反することなく, 推薦精度を向上する。
論文 参考訳（メタデータ） (2021-02-26T13:15:23Z) - RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial
Network [75.81653258081435]
GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。
しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。
本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
論文 参考訳（メタデータ） (2020-07-04T09:51:02Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。