論文の概要: Gradient Sparsification for Efficient Wireless Federated Learning with
Differential Privacy
- arxiv url: http://arxiv.org/abs/2304.04164v3
- Date: Thu, 21 Dec 2023 01:38:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-25 18:57:20.177491
- Title: Gradient Sparsification for Efficient Wireless Federated Learning with
Differential Privacy
- Title（参考訳）: 差分プライバシーを用いた効率的な無線フェデレーション学習のためのグラディエントスパシフィケーション
- Authors: Kang Wei, Jun Li, Chuan Ma, Ming Ding, Feng Shu, Haitao Zhao, Wen Chen
and Hongbo Zhu
- Abstract要約: フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。
モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。
我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
- 参考スコア（独自算出の注目度）: 25.763777765222358
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) enables distributed clients to collaboratively train
a machine learning model without sharing raw data with each other. However, it
suffers the leakage of private information from uploading models. In addition,
as the model size grows, the training latency increases due to limited
transmission bandwidth and the model performance degrades while using
differential privacy (DP) protection. In this paper, we propose a gradient
sparsification empowered FL framework over wireless channels, in order to
improve training efficiency without sacrificing convergence performance.
Specifically, we first design a random sparsification algorithm to retain a
fraction of the gradient elements in each client's local training, thereby
mitigating the performance degradation induced by DP and and reducing the
number of transmission parameters over wireless channels. Then, we analyze the
convergence bound of the proposed algorithm, by modeling a non-convex FL
problem. Next, we formulate a time-sequential stochastic optimization problem
for minimizing the developed convergence bound, under the constraints of
transmit power, the average transmitting delay, as well as the client's DP
requirement. Utilizing the Lyapunov drift-plus-penalty framework, we develop an
analytical solution to the optimization problem. Extensive experiments have
been implemented on three real life datasets to demonstrate the effectiveness
of our proposed algorithm. We show that our proposed algorithms can fully
exploit the interworking between communication and computation to outperform
the baselines, i.e., random scheduling, round robin and delay-minimization
algorithms.
- Abstract（参考訳）: フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。
しかし、それはモデルをアップロードすることによる個人情報の漏洩に悩まされている。
さらに、モデルサイズが大きくなるにつれて、送信帯域の制限によるトレーニング遅延が増加し、差分プライバシー(DP)保護を用いてモデル性能が低下する。
本稿では,コンバージェンス性能を犠牲にすることなくトレーニング効率を向上させるために,無線チャネル上での勾配スパーシフィケーション権限付きflフレームワークを提案する。
具体的には、まず、各クライアントのローカルトレーニングにおける勾配要素のごく一部を保持するためにランダムなスペーシフィケーションアルゴリズムを設計し、DPによって誘導される性能劣化を軽減し、無線チャネル上での伝送パラメータの数を減少させる。
そこで,提案アルゴリズムの収束境界を非凸FL問題をモデル化して解析する。
次に、送信電力の制約、平均送信遅延、およびクライアントのDP要求に基づいて、展開した収束境界を最小化する時間列確率最適化問題を定式化する。
lyapunov drift-plus-penaltyフレームワークを利用して最適化問題に対する解析的解法を開発した。
提案手法の有効性を実証するために,3つの実時間データセットで広範な実験を行った。
提案アルゴリズムは,通信と計算の相互作用をフル活用して,ランダムスケジューリング,ラウンドロビン,遅延最小化アルゴリズムなどのベースラインより優れていることを示す。
関連論文リスト
- Split Federated Learning Over Heterogeneous Edge Devices: Algorithm and Optimization [7.013344179232109]
Split Learning(SL)は、リソース制約のあるデバイスが生データを共有せずにモデルをトレーニングできるようにする、有望なコラボレーティブ機械学習アプローチである。
現在のSLアルゴリズムは、トレーニング効率の限界に直面し、長時間のレイテンシに悩まされている。
本稿では、リソース制約のあるクライアントが、パーソナライズされたクライアントサイドモデルを並列にトレーニングできる、異種分散フェデレーションラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-21T07:46:01Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - Optimal Privacy Preserving for Federated Learning in Mobile Edge
Computing [35.57643489979182]
ユーザ差分プライバシ(DP)を維持するための有望なアプローチとして,無線ネットワーク上での定量化と意図的なノイズ付加によるフェデレーション学習(FL)がある。
本稿では,無線ネットワークとDP要件の制約下での収束率を最大化するために,量子化と二項機構パラメータと通信資源を協調的に最適化することを目的とする。
論文 参考訳（メタデータ） (2022-11-14T07:54:14Z) - Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated
Split Learning [56.125720497163684]
無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。
ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
論文 参考訳（メタデータ） (2022-09-02T10:29:56Z) - Over-the-Air Federated Learning via Second-Order Optimization [37.594140209854906]
フェデレートラーニング(FL)は、無線ネットワーク上でのタスク指向のデータトラフィックを、限られた無線リソースによって引き起こす可能性がある。
本稿では,通信ラウンドを同時に削減し,低レイテンシなグローバルモデルアグリゲーションを実現するために,空対2次フェデレーション最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-03-29T12:39:23Z) - Low-Latency Federated Learning over Wireless Channels with Differential
Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。
本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文 参考訳（メタデータ） (2021-06-20T13:51:18Z) - Wireless Federated Learning with Limited Communication and Differential
Privacy [21.328507360172203]
本稿では,空力計算(AirComp)に基づくフェデレーション学習(FL)モデルにおいて,リモートユーザにおけるローカルデータセットの効率的な通信と差分プライバシー(DP)における次元性低減の役割について検討する。
論文 参考訳（メタデータ） (2021-06-01T15:23:12Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳（メタデータ） (2020-10-08T15:27:50Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。