論文の概要: PriPrune: Quantifying and Preserving Privacy in Pruned Federated
Learning
- arxiv url: http://arxiv.org/abs/2310.19958v2
- Date: Fri, 22 Dec 2023 11:29:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-25 18:11:04.002274
- Title: PriPrune: Quantifying and Preserving Privacy in Pruned Federated
Learning
- Title（参考訳）: PriPrune: Pruned Federated Learningにおけるプライバシの定量化と保存
- Authors: Tianyue Chu, Mengwei Yang, Nikolaos Laoutaris, Athina Markopoulou
- Abstract要約: ローカルモデルプルーニングのためのプライバシ対応アルゴリズムであるPruneを紹介する。
我々は,プルーニングFLモデルによってリークされる情報量に基づいて,情報理論上界を導出する。
PriPruneは、最先端のPruned FLスキームと比較して、プライバシーと精度のトレードオフを大幅に改善する。
- 参考スコア（独自算出の注目度）: 5.250288418639076
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a paradigm that allows several client devices and
a server to collaboratively train a global model, by exchanging only model
updates, without the devices sharing their local training data. These devices
are often constrained in terms of communication and computation resources, and
can further benefit from model pruning -- a paradigm that is widely used to
reduce the size and complexity of models. Intuitively, by making local models
coarser, pruning is expected to also provide some protection against privacy
attacks in the context of FL. However this protection has not been previously
characterized, formally or experimentally, and it is unclear if it is
sufficient against state-of-the-art attacks.
In this paper, we perform the first investigation of privacy guarantees for
model pruning in FL. We derive information-theoretic upper bounds on the amount
of information leaked by pruned FL models. We complement and validate these
theoretical findings, with comprehensive experiments that involve
state-of-the-art privacy attacks, on several state-of-the-art FL pruning
schemes, using benchmark datasets. This evaluation provides valuable insights
into the choices and parameters that can affect the privacy protection provided
by pruning. Based on these insights, we introduce PriPrune -- a privacy-aware
algorithm for local model pruning, which uses a personalized per-client defense
mask and adapts the defense pruning rate so as to jointly optimize privacy and
model performance. PriPrune is universal in that can be applied after any
pruned FL scheme on the client, without modification, and protects against any
inversion attack by the server. Our empirical evaluation demonstrates that
PriPrune significantly improves the privacy-accuracy tradeoff compared to
state-of-the-art pruned FL schemes that do not take privacy into account.
- Abstract（参考訳）: Federated Learning(FL)は、複数のクライアントデバイスとサーバが、ローカルなトレーニングデータを共有することなく、モデル更新のみを交換することで、グローバルモデルを協調的にトレーニングできるパラダイムである。
これらのデバイスは通信や計算リソースの面で制約されることが多く、モデルプルーニング(モデルのサイズと複雑さを減らすために広く使用されるパラダイム)の恩恵を受けることができる。
直観的には、ローカルモデルをより粗いものにすることで、pruningはflのコンテキストにおけるプライバシ攻撃に対する保護を提供するものと期待される。
しかし、この保護は以前にも正式にも実験的にも特徴づけられておらず、最先端の攻撃に対して十分なものかどうかは不明である。
本稿では,flにおけるモデルプルーニングのプライバシ保証に関する最初の調査を行う。
我々は,pruned flモデルによって漏洩した情報量に関する情報理論上の上限を導出する。
我々はこれらの理論的な知見を補完し、ベンチマークデータセットを用いて、最先端のプライバシー攻撃を含む包括的な実験により検証する。
この評価は、プルーニングによって提供されるプライバシー保護に影響を与える可能性のある選択とパラメータに関する貴重な洞察を提供する。
このアルゴリズムでは、パーソナライズされたクライアント毎の防御マスクを使用し、防御プルーニング率を適用して、プライバシとモデルパフォーマンスを共同で最適化する。
PriPruneは、クライアント上でプラインドされたFLスキームを変更せずに適用し、サーバによる逆攻撃から保護する、普遍的な方法である。
私たちの経験的評価は、プライバシを考慮しない最先端のpruned flスキームと比較して、pripruneがプライバシ-精度のトレードオフを大幅に改善していることを示しています。
関連論文リスト
- Camel: Communication-Efficient and Maliciously Secure Federated Learning in the Shuffle Model of Differential Privacy [9.100955087185811]
フェデレートラーニング(FL)は、複数のクライアントが集約のための勾配更新のみを共有することで、モデルを共同でトレーニングすることを可能にする、急速に魅力的なパラダイムになっています。
プライバシーに敏感なグラデーションアップデートを保護するため、ローカルな差分プライバシーメカニズムの研究が続けられている。
我々は,DP のシャッフルモデルにおいて,コミュニケーション効率が高く,かつ悪意のある FL フレームワークである Camel を提示する。
論文 参考訳（メタデータ） (2024-10-04T13:13:44Z) - Immersion and Invariance-based Coding for Privacy-Preserving Federated Learning [1.4226399196408985]
協調分散学習におけるプライバシ保護手法として,フェデレートラーニング(FL)が登場している。
制御理論から差分プライバシーとシステム浸漬ツールを組み合わせたプライバシー保護FLフレームワークを提案する。
提案手法は,局所モデルパラメータとグローバルモデルパラメータの両方に対して,任意のレベルの差分プライバシを提供するように調整可能であることを実証する。
論文 参考訳（メタデータ） (2024-09-25T15:04:42Z) - PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。
送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。
我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
論文 参考訳（メタデータ） (2024-07-12T03:18:08Z) - Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。
本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。
その独特な洞察力のある性質とその分析も提示される。
論文 参考訳（メタデータ） (2023-10-30T14:15:47Z) - RecUP-FL: Reconciling Utility and Privacy in Federated Learning via
User-configurable Privacy Defense [9.806681555309519]
フェデレートラーニング(FL)は、クライアントがプライベートデータを共有せずに、協力的にモデルをトレーニングすることを可能にする。
近年の研究では、共有勾配によってプライベート情報が漏洩する可能性があることが示されている。
本稿では、ユーザ指定の機密属性により焦点を絞ることができる、ユーザ設定可能なプライバシ保護(RecUP-FL)を提案する。
論文 参考訳（メタデータ） (2023-04-11T10:59:45Z) - Unraveling the Connections between Privacy and Certified Robustness in
Federated Learning Against Poisoning Attacks [68.20436971825941]
フェデレートラーニング(FL)は、分散ユーザのデータを活用するグローバルモデルを共同でトレーニングするための、効率的なパラダイムを提供する。
いくつかの研究により、FLは毒殺攻撃に弱いことが示されている。
ローカルユーザのプライバシを保護するため、FLは通常、差分プライベートな方法でトレーニングされる。
論文 参考訳（メタデータ） (2022-09-08T21:01:42Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳（メタデータ） (2022-04-15T22:36:55Z) - Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。
モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。
本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文 参考訳（メタデータ） (2022-02-14T18:33:12Z) - Understanding Clipping for Federated Learning: Convergence and
Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。
本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文 参考訳（メタデータ） (2021-06-25T14:47:19Z) - Privacy Assessment of Federated Learning using Private Personalized
Layers [0.9023847175654603]
Federated Learning(FL)は、データを共有することなく、複数の参加者にまたがって学習モデルをトレーニングするコラボレーティブスキームである。
プライベートなパーソナライズされたレイヤを用いてFLスキームの実用性とプライバシのトレードオフを定量化する。
論文 参考訳（メタデータ） (2021-06-15T11:40:16Z) - Local and Central Differential Privacy for Robustness and Privacy in
Federated Learning [13.115388879531967]
フェデレートラーニング(FL)では、モデルの更新のみを交換しながらデータセットをローカルに保つことで、複数の参加者が機械学習モデルを協調的にトレーニングすることができる。
本稿では,FLにおけるプライバシーとロバスト性の両方を保護するために差分プライバシ(DP)をどの程度利用できるかについて検討する。
論文 参考訳（メタデータ） (2020-09-08T07:37:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。