論文の概要: Efficient Federated Learning with Enhanced Privacy via Lottery Ticket Pruning in Edge Computing

• arxiv url: http://arxiv.org/abs/2305.01387v1
• Date: Tue, 2 May 2023 13:02:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-03 14:26:43.618247
• Title: Efficient Federated Learning with Enhanced Privacy via Lottery Ticket Pruning in Edge Computing
• Title（参考訳）: エッジコンピューティングにおけるロッキーチケットプルーニングによる効果的なフェデレーション学習
• Authors: Yifan Shi, Kang Wei, Li Shen, Jun Li, Xueqian Wang, Bo Yuan, and Song Guo
• Abstract要約: Federated Learning(FL)は、モバイル端末(MT)からの分散型プライベートデータのための協調学習パラダイムである。 既存のプライバシ保存手法は、通常、インスタンスレベルの差分プライバシー(DP)を採用する。 We propose Fed-enhanced FL framework with UnderlinetextbfLottery underlinetextbfTicket underlinetextbfHypothesis (LTH) and zero-concentated DunderlinetextbfP (zCDP)。
• 参考スコア（独自算出の注目度）: 19.896989498650207
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is a collaborative learning paradigm for decentralized private data from mobile terminals (MTs). However, it suffers from issues in terms of communication, resource of MTs, and privacy. Existing privacy-preserving FL methods usually adopt the instance-level differential privacy (DP), which provides a rigorous privacy guarantee but with several bottlenecks: severe performance degradation, transmission overhead, and resource constraints of edge devices such as MTs. To overcome these drawbacks, we propose Fed-LTP, an efficient and privacy-enhanced FL framework with \underline{\textbf{L}}ottery \underline{\textbf{T}}icket \underline{\textbf{H}}ypothesis (LTH) and zero-concentrated D\underline{\textbf{P}} (zCDP). It generates a pruned global model on the server side and conducts sparse-to-sparse training from scratch with zCDP on the client side. On the server side, two pruning schemes are proposed: (i) the weight-based pruning (LTH) determines the pruned global model structure; (ii) the iterative pruning further shrinks the size of the pruned model's parameters. Meanwhile, the performance of Fed-LTP is also boosted via model validation based on the Laplace mechanism. On the client side, we use sparse-to-sparse training to solve the resource-constraints issue and provide tighter privacy analysis to reduce the privacy budget. We evaluate the effectiveness of Fed-LTP on several real-world datasets in both independent and identically distributed (IID) and non-IID settings. The results clearly confirm the superiority of Fed-LTP over state-of-the-art (SOTA) methods in communication, computation, and memory efficiencies while realizing a better utility-privacy trade-off.
• Abstract（参考訳）: federated learning (fl) はモバイル端末(mts)からの分散プライベートデータのための協調学習パラダイムである。 しかし、通信、mtsのリソース、プライバシーといった問題に苦しんでいる。 既存のプライバシ保存のFLメソッドは通常、厳格なプライバシ保証を提供するインスタンスレベルの差分プライバシー(DP)を採用するが、いくつかのボトルネックがある。 これらの欠点を克服するため、我々は、効率よくプライバシーを強化した FL フレームワークである Fed-LTP を提案し、これは \underline{\textbf{L}}ottery \underline{\textbf{T}}icket \underline{\textbf{H}}ypothesis (LTH) と 0 に集中した D\underline{\textbf{P}} (zCDP) を備える。 サーバ側で切断されたグローバルモデルを生成し、クライアント側でzCDPを使ってスクラッチからスパーストレーニングを行う。 サーバ側では2つのプルーニング方式が提案されている。 (i)重量ベースプルーニング(lth)は、プルーニングされたグローバルモデル構造を決定する。 (ii)反復プルーニングは、プルーニングされたモデルのパラメータのサイズをさらに縮小する。 一方、Fed-LTPの性能はLaplaceメカニズムに基づいたモデル検証によって向上する。 クライアント側では、リソース制約問題を解決するためにスパースからスパースへのトレーニングを使い、プライバシ予算を削減するためにより厳格なプライバシー分析を提供します。 独立および同一分散(IID)および非IID設定における複数の実世界のデータセットに対するFed-LTPの有効性を評価する。 その結果,より優れたユーティリティプライバシトレードオフを実現しつつ,通信,計算,メモリ効率において,SOTA法よりもFed-LTPの方が優れていることが明らかになった。

関連論文リスト

• Federated PCA and Estimation for Spiked Covariance Matrices: Optimal Rates and Efficient Algorithm [19.673557166734977]
  フェデレートラーニング(FL)は、プライバシとデータセキュリティの強化により、機械学習において、近年大きな注目を集めている。 本稿では,分散差分プライバシー制約下でのフェデレーションPCAとスパイク共分散行列の推定について検討する。 我々は、集中サーバの最適レートがローカルクライアントのミニマックスレートの調和平均であることから、収束のミニマックスレートを確立する。
  論文  参考訳（メタデータ） (2024-11-23T21:57:50Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Enhancing Security and Privacy in Federated Learning using Update Digests and Voting-Based Defense [23.280147155814955]
  フェデレートラーニング(FL)は、有望なプライバシー保護機械学習パラダイムである。 その可能性にもかかわらず、FLはクライアントとサーバの信頼性に関する課題に直面している。 underlinetextbfFederated underlinetextbfLearning with underlinetextbfUpdate underlinetextbfDigest (FLUD) という新しいフレームワークを導入する。 FLUDは、分散学習環境におけるビザンチン攻撃に対するプライバシー保護と抵抗の重要な問題に対処する。
  論文  参考訳（メタデータ） (2024-05-29T06:46:10Z)
• PS-FedGAN: An Efficient Federated Learning Framework Based on Partially Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
  分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。 本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。 PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
  論文  参考訳（メタデータ） (2023-05-19T05:39:40Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• DReS-FL: Dropout-Resilient Secure Federated Learning for Non-IID Clients via Secret Data Sharing [7.573516684862637]
  フェデレートラーニング(FL)は、クライアントのプライベートデータを集中的に収集することなく、機械学習モデルの協調トレーニングを可能にする。 本稿では,ラグランジュコンピューティングに基づくDropout-Resilient Secure Federated Learningフレームワークを提案する。 DReS-FLはクライアントのドロップアウトに対して耐性があり、ローカルデータセットのプライバシ保護を提供する。
  論文  参考訳（メタデータ） (2022-10-06T05:04:38Z)
• FedPerm: Private and Robust Federated Learning by Parameter Permutation [2.406359246841227]
  Federated Learning(FL)は、相互に信頼できないクライアントが共通の機械学習モデルを共同でトレーニングできるようにする分散学習パラダイムである。 クライアントデータのプライバシはFLで最重要である。同時に、モデルが敵のクライアントからの攻撃から保護されなければならない。 我々は、データプライバシを増幅する新しいモデル内パラメータシャッフル技術と、クライアントのモデル更新の暗号化集約を可能にするPrivate Information Retrieval(PIR)ベースの技術を組み合わせることで、これらの問題に対処する新しいFLアルゴリズムであるFedPermを提案する。
  論文  参考訳（メタデータ） (2022-08-16T19:40:28Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Stochastic Coded Federated Learning with Convergence and Privacy Guarantees [8.2189389638822]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。 本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。 我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
  論文  参考訳（メタデータ） (2022-01-25T04:43:29Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with Lazy Clients [124.48732110742623]
  フェデレートラーニング(FL)にブロックチェーンを統合する新しいフレームワークを提案する。 BLADE-FLは、プライバシー保護、改ざん抵抗、学習の効果的な協力の点で優れたパフォーマンスを持っている。 遅延クライアントは、他人のトレーニングされたモデルを盗聴し、不正行為を隠すために人工的なノイズを加える。
  論文  参考訳（メタデータ） (2020-12-02T12:18:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。