論文の概要: Bayesian Federated Learning over Wireless Networks

• arxiv url: http://arxiv.org/abs/2012.15486v1
• Date: Thu, 31 Dec 2020 07:32:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 16:58:16.548633
• Title: Bayesian Federated Learning over Wireless Networks
• Title（参考訳）: 無線ネットワークによるベイジアンフェデレーション学習
• Authors: Seunghoon Lee, Chanho Park, Song-Nam Hong, Yonina C. Eldar, Namyoon Lee
• Abstract要約: フェデレーションラーニングは、ローカルデバイスに保存された異種データセットを使用したプライバシー保護と分散トレーニング方法です。 本稿では、スケーラブルBFL (SBFL) と呼ばれる効率的な修正BFLアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 87.37301441859925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is a privacy-preserving and distributed training method using heterogeneous data sets stored at local devices. Federated learning over wireless networks requires aggregating locally computed gradients at a server where the mobile devices send statistically distinct gradient information over heterogenous communication links. This paper proposes a Bayesian federated learning (BFL) algorithm to aggregate the heterogeneous quantized gradient information optimally in the sense of minimizing the mean-squared error (MSE). The idea of BFL is to aggregate the one-bit quantized local gradients at the server by jointly exploiting i) the prior distributions of the local gradients, ii) the gradient quantizer function, and iii) channel distributions. Implementing BFL requires high communication and computational costs as the number of mobile devices increases. To address this challenge, we also present an efficient modified BFL algorithm called scalable-BFL (SBFL). In SBFL, we assume a simplified distribution on the local gradient. Each mobile device sends its one-bit quantized local gradient together with two scalar parameters representing this distribution. The server then aggregates the noisy and faded quantized gradients to minimize the MSE. We provide a convergence analysis of SBFL for a class of non-convex loss functions. Our analysis elucidates how the parameters of communication channels and the gradient priors affect convergence. From simulations, we demonstrate that SBFL considerably outperforms the conventional sign stochastic gradient descent algorithm when training and testing neural networks using MNIST data sets over heterogeneous wireless networks.
• Abstract（参考訳）: フェデレーション学習(federated learning)は、ローカルデバイスに格納された異種データセットを用いた、プライバシ保護および分散トレーニング手法である。 無線ネットワークによる連合学習では、モバイルデバイスが異種通信リンク上で統計的に異なる勾配情報を送信するサーバで、局所的に計算された勾配を集約する必要がある。 本稿では,平均二乗誤差 (mse) を最小化する意味で,不均一量子化勾配情報を最適に集約するベイズ型フェデレート学習 (bfl) アルゴリズムを提案する。 BFL の考え方は、i) 局所勾配の事前分布、i) 勾配量子化関数、iii) チャネル分布を共同で利用することで、サーバにおける1ビットの量子化局所勾配を集約することである。 BFLの実装には、モバイル機器の数が増えるにつれて、高い通信と計算コストが必要となる。 この課題に対処するために、スケーラブルBFL (SBFL) と呼ばれる効率的な修正BFLアルゴリズムを提案する。 SBFLでは局所勾配の簡易分布を仮定する。 各モバイルデバイスは、この分布を表す2つのスカラーパラメータとともに、1ビットの量子化局所勾配を送信する。 サーバはノイズとフェードした量子化勾配を集約してmseを最小化する。 非凸損失関数のクラスに対するSBFLの収束解析を提供する。 本分析は,通信路のパラメータと勾配が収束に与える影響を解明する。 シミュレーションから,mnistデータセットを用いたニューラルネットワークのトレーニングとテストにおいて,sbflは従来の符号確率勾配降下アルゴリズムをかなり上回っていることを示す。

関連論文リスト

• Federated Learning for Energy-limited Wireless Networks: A Partial Model Aggregation Approach [79.59560136273917]
  デバイス間の限られた通信資源、帯域幅とエネルギー、およびデータ不均一性は、連邦学習(FL)の主要なボトルネックである まず、部分モデルアグリゲーション(PMA)を用いた新しいFLフレームワークを考案する。 提案されたPMA-FLは、2つの典型的な異種データセットにおいて2.72%と11.6%の精度を改善する。
  論文  参考訳（メタデータ） (2022-04-20T19:09:52Z)
• SlimFL: Federated Learning with Superposition Coding over Slimmable Neural Networks [56.68149211499535]
  フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。 本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2022-03-26T15:06:13Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)
• On the Tradeoff between Energy, Precision, and Accuracy in Federated Quantized Neural Networks [68.52621234990728]
  無線ネットワーク上でのフェデレーション学習(FL)は、精度、エネルギー効率、精度のバランスをとる必要がある。 本稿では,ローカルトレーニングとアップリンク伝送の両方において,有限レベルの精度でデータを表現できる量子化FLフレームワークを提案する。 我々のフレームワークは標準的なFLモデルと比較してエネルギー消費量を最大53%削減できる。
  論文  参考訳（メタデータ） (2021-11-15T17:00:03Z)
• Toward Efficient Federated Learning in Multi-Channeled Mobile Edge Network with Layerd Gradient Compression [4.812855416061435]
  フェデレートラーニング(FL)の基本課題は、高度に動的な通信環境下で最適なモデル性能を実現する方法である。 層圧縮(LGC)と呼ばれる新しいFLフレームワークを提案する。 LGCでは、デバイスからの局所勾配は複数の層にコード化され、各層は異なるチャネルに沿ってFLサーバに送られる。
  論文  参考訳（メタデータ） (2021-09-18T03:30:06Z)
• Unit-Modulus Wireless Federated Learning Via Penalty Alternating Minimization [64.76619508293966]
  Wireless Federated Learning(FL)は、分散データセットから無線通信を介してグローバルパラメトリックモデルをトレーニングする、新興機械学習パラダイムである。 本稿では、ローカルモデルパラメータをアップロードし、無線通信を介してグローバルモデルパラメータを算出する無線FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-31T08:19:54Z)
• Wireless Federated Learning with Limited Communication and Differential Privacy [21.328507360172203]
  本稿では,空力計算(AirComp)に基づくフェデレーション学習(FL)モデルにおいて,リモートユーザにおけるローカルデータセットの効率的な通信と差分プライバシー(DP)における次元性低減の役割について検討する。
  論文  参考訳（メタデータ） (2021-06-01T15:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。