論文の概要: Gradient-Leakage Resilient Federated Learning
- arxiv url: http://arxiv.org/abs/2107.01154v1
- Date: Fri, 2 Jul 2021 15:51:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-05 15:11:04.130046
- Title: Gradient-Leakage Resilient Federated Learning
- Title(参考訳): 勾配漏れ耐性フェデレート学習
- Authors: Wenqi Wei, Ling Liu, Yanzhao Wu, Gong Su, Arun Iyengar
- Abstract要約: Federated Learning(FL)は,クライアントプライバシをデフォルトとする,新たな分散学習パラダイムである。
近年の研究では、FLの勾配リークがクライアントのトレーニングデータのプライバシーを損なう可能性があることが示されている。
本稿では,学習例ごとのクライアント差分プライバシーを用いて,プライバシー保護フェデレーション学習への勾配リーク耐性アプローチを提案する。
- 参考スコア(独自算出の注目度): 8.945356237213007
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning(FL) is an emerging distributed learning paradigm with
default client privacy because clients can keep sensitive data on their devices
and only share local training parameter updates with the federated server.
However, recent studies reveal that gradient leakages in FL may compromise the
privacy of client training data. This paper presents a gradient leakage
resilient approach to privacy-preserving federated learning with per training
example-based client differential privacy, coined as Fed-CDP. It makes three
original contributions. First, we identify three types of client gradient
leakage threats in federated learning even with encrypted client-server
communications. We articulate when and why the conventional server coordinated
differential privacy approach, coined as Fed-SDP, is insufficient to protect
the privacy of the training data. Second, we introduce Fed-CDP, the per
example-based client differential privacy algorithm, and provide a formal
analysis of Fed-CDP with the $(\epsilon, \delta)$ differential privacy
guarantee, and a formal comparison between Fed-CDP and Fed-SDP in terms of
privacy accounting. Third, we formally analyze the privacy-utility trade-off
for providing differential privacy guarantee by Fed-CDP and present a dynamic
decay noise-injection policy to further improve the accuracy and resiliency of
Fed-CDP. We evaluate and compare Fed-CDP and Fed-CDP(decay) with Fed-SDP in
terms of differential privacy guarantee and gradient leakage resilience over
five benchmark datasets. The results show that the Fed-CDP approach outperforms
conventional Fed-SDP in terms of resilience to client gradient leakages while
offering competitive accuracy performance in federated learning.
- Abstract(参考訳): クライアントはデバイスに機密データを保持でき、ローカルトレーニングパラメータの更新のみをフェデレーションサーバと共有できるため、フェデレーション学習(FL)は、デフォルトのクライアントプライバシを備えた、新興の分散学習パラダイムである。
しかし最近の研究では、FLの勾配リークがクライアントのトレーニングデータのプライバシーを損なう可能性があることが示されている。
本稿では,feed-cdpと呼ばれるサンプルベースクライアントディファレンシャルプライバシのトレーニング毎に,プライバシ保存型フェデレーション学習に対する勾配漏洩耐性アプローチを提案する。
3つのオリジナル・コントリビューションがある。
まず,暗号化されたクライアントサーバ間通信においても,フェデレーション学習における3種類のクライアント勾配漏洩脅威を識別する。
我々は、従来のサーバがFed-SDPとよばれる差分プライバシーアプローチが、トレーニングデータのプライバシーを保護するのに不十分な時期と理由を明確に述べる。
第2に、サンプルベースのクライアント差分プライバシーアルゴリズムであるFed-CDPを導入し、$(\epsilon, \delta)$差分プライバシー保証によるFed-CDPの形式分析と、プライバシ会計の観点からFed-CDPとFed-SDPの形式比較を提供する。
第三に、Fed-CDPによる差分プライバシー保証を提供するためのプライバシユーティリティトレードオフを正式に分析し、Fed-CDPの精度とレジリエンスをさらに向上させる動的減衰ノイズ注入ポリシーを提案する。
Fed-CDPとFed-CDP(decay)を5つのベンチマークデータセットに対して差分プライバシー保証と勾配リークレジリエンスの観点からFed-SDPと比較した。
その結果、Fed-CDPアプローチは、クライアント勾配リークに対するレジリエンスの観点から従来のFed-SDPよりも優れており、フェデレート学習における競争精度が向上していることがわかった。
関連論文リスト
- Personalized Federated Learning with Attention-based Client Selection [57.71009302168411]
我々は,意図に基づくクライアント選択機構を備えた新しいPFLアルゴリズムであるFedACSを提案する。
FedACSは、類似したデータ分散を持つクライアント間のコラボレーションを強化するためのアテンションメカニズムを統合している。
CIFAR10とFMNISTの実験は、FedACSの優位性を検証する。
論文 参考訳(メタデータ) (2023-12-23T03:31:46Z) - Differentially Private Wireless Federated Learning Using Orthogonal
Sequences [56.52483669820023]
本稿では,FLORAS と呼ばれる AirComp 法を提案する。
FLORASはアイテムレベルとクライアントレベルの差分プライバシー保証の両方を提供する。
新たなFL収束バウンダリが導出され、プライバシー保証と組み合わせることで、達成された収束率と差分プライバシーレベルのスムーズなトレードオフが可能になる。
論文 参考訳(メタデータ) (2023-06-14T06:35:10Z) - Balancing Privacy and Security in Federated Learning with FedGT: A Group
Testing Framework [90.61139449550383]
FedGTは、フェデレート学習における悪意のあるクライアントを安全なアグリゲーションで識別するためのフレームワークである。
FedGTは、誤検知や誤報の確率が低い悪意のあるクライアントを識別できることを示す。
論文 参考訳(メタデータ) (2023-05-09T14:54:59Z) - Breaking the Communication-Privacy-Accuracy Tradeoff with
$f$-Differential Privacy [51.11280118806893]
サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。
有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。
より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
論文 参考訳(メタデータ) (2023-02-19T16:58:53Z) - FedDig: Robust Federated Learning Using Data Digest to Represent Absent
Clients [14.541424678317302]
フェデレートラーニング(FL)は、クライアントデータのプライバシーを効果的に保護する。
トレーニング中のクライアントの欠席や離脱は、モデルパフォーマンスを著しく低下させる可能性がある。
本稿では、生データからデータダイジェストを生成し、FLモデレーターでのトレーニングをガイドすることで、この問題に対処する。
FedDigと呼ばれる提案されたFLフレームワークは、クライアントデータのプライバシを保持しながら、クロスサイロシナリオにおける予期せぬクライアントの不在を許容する。
論文 参考訳(メタデータ) (2022-10-03T06:54:44Z) - Stochastic Coded Federated Learning with Convergence and Privacy
Guarantees [8.2189389638822]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。
本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。
我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
論文 参考訳(メタデータ) (2022-01-25T04:43:29Z) - PRECAD: Privacy-Preserving and Robust Federated Learning via
Crypto-Aided Differential Privacy [14.678119872268198]
フェデレートラーニング(FL)は、複数の参加するクライアントがデータセットをローカルに保持し、モデル更新のみを交換することで、機械学習モデルを協調的にトレーニングすることを可能にする。
既存のFLプロトコルの設計は、データのプライバシやモデルの堅牢性を損なうような攻撃に対して脆弱であることが示されている。
我々はPreCADと呼ばれるフレームワークを開発し、同時に差分プライバシー(DP)を実現し、暗号の助けを借りてモデル中毒攻撃に対する堅牢性を高める。
論文 参考訳(メタデータ) (2021-10-22T04:08:42Z) - Understanding Clipping for Federated Learning: Convergence and
Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。
本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文 参考訳(メタデータ) (2021-06-25T14:47:19Z) - Federated $f$-Differential Privacy [19.499120576896228]
フェデレートラーニング(Federated Learning, FL)とは、クライアントが繰り返し情報を共有することによってモデルを学ぶ訓練パラダイムである。
フェデレーション設定に特化した新しい概念である、フェデレーション$f$-differenceプライバシを紹介します。
そこで我々は,最先端flアルゴリズムの大規模ファミリーに対応する汎用的federated learningフレームワークprifedsyncを提案する。
論文 参考訳(メタデータ) (2021-02-22T16:28:21Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳(メタデータ) (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。