論文の概要: Communication-Efficient Federated Learning with Binary Neural Networks
- arxiv url: http://arxiv.org/abs/2110.02226v1
- Date: Tue, 5 Oct 2021 15:59:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-08 14:21:59.071246
- Title: Communication-Efficient Federated Learning with Binary Neural Networks
- Title（参考訳）: バイナリニューラルネットワークを用いた通信効率のよい連合学習
- Authors: Yuzhi Yang, Zhaoyang Zhang and Qianqian Yang
- Abstract要約: フェデレート・ラーニング(Federated Learning, FL)は、プライバシ保護のための機械学習環境である。
FLは、トレーニングをコーディネートするすべてのクライアントとサーバ間のパラメータの頻繁な交換を伴う。
本稿では,通常の実数値ニューラルネットワークの代わりに,FL設定におけるバイナリニューラルネットワーク(BNN)のトレーニングを検討する。
- 参考スコア（独自算出の注目度）: 15.614120327271557
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is a privacy-preserving machine learning setting that
enables many devices to jointly train a shared global model without the need to
reveal their data to a central server. However, FL involves a frequent exchange
of the parameters between all the clients and the server that coordinates the
training. This introduces extensive communication overhead, which can be a
major bottleneck in FL with limited communication links. In this paper, we
consider training the binary neural networks (BNN) in the FL setting instead of
the typical real-valued neural networks to fulfill the stringent delay and
efficiency requirement in wireless edge networks. We introduce a novel FL
framework of training BNN, where the clients only upload the binary parameters
to the server. We also propose a novel parameter updating scheme based on the
Maximum Likelihood (ML) estimation that preserves the performance of the BNN
even without the availability of aggregated real-valued auxiliary parameters
that are usually needed during the training of the BNN. Moreover, for the first
time in the literature, we theoretically derive the conditions under which the
training of BNN is converging. { Numerical results show that the proposed FL
framework significantly reduces the communication cost compared to the
conventional neural networks with typical real-valued parameters, and the
performance loss incurred by the binarization can be further compensated by a
hybrid method.
- Abstract（参考訳）: Federated Learning(FL)は、多くのデバイスが中央サーバにデータを公開することなく、共有グローバルモデルの共同トレーニングを可能にする、プライバシ保護機械学習設定である。
しかし、FLはトレーニングを調整するすべてのクライアントとサーバの間でパラメータの頻繁な交換を伴います。
これにより、広範な通信オーバーヘッドが発生し、限られた通信リンクを持つFLの大きなボトルネックとなる可能性がある。
本稿では,無線エッジネットワークにおける拘束的遅延と効率の要求を満たすために,通常の実数値ニューラルネットワークの代わりに,FL設定のバイナリニューラルネットワーク(BNN)をトレーニングすることを検討する。
本稿では,クライアントがバイナリパラメータのみをサーバにアップロードする,bnnトレーニング用の新しいflフレームワークを提案する。
また,BNNのトレーニングに通常必要となる集約された実数値補助パラメータがなくても,BNNの性能を保たせる,ML(Maximum Likelihood)推定に基づく新しいパラメータ更新手法を提案する。
さらに,本論文で初めて,BNNの訓練が収束している条件を理論的に導出した。
{数値計算の結果,提案手法は,従来の実数値パラメータを用いたニューラルネットワークに比べて通信コストを大幅に削減し,2値化による性能損失をハイブリッド手法でさらに補償できることがわかった。
関連論文リスト
- Learning Load Balancing with GNN in MPTCP-Enabled Heterogeneous Networks [13.178956651532213]
本稿では,MP TCP 対応 HetNet の LB 問題に対処するグラフニューラルネットワーク (GNN) モデルを提案する。
従来のディープニューラルネットワーク(DNN)と比較して、提案したGNNベースのモデルには2つの重要な長所がある。
論文 参考訳（メタデータ） (2024-10-22T15:49:53Z) - The Robustness of Spiking Neural Networks in Communication and its Application towards Network Efficiency in Federated Learning [6.9569682335746235]
スパイキングニューラルネットワーク(SNN)は最近、組み込みデバイスでのオンチップ学習に多大な関心を集めている。
本稿では,フェデレートラーニングにおける雑音の多いコミュニケーション下でのSNNの本質的ロバスト性について検討する。
FLトレーニングにおける帯域幅の削減を目的とした,TopKスパシフィケーションを用いた新しいフェデレートラーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-09-19T13:37:18Z) - SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。
実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
論文 参考訳（メタデータ） (2024-06-01T13:10:35Z) - FLrce: Resource-Efficient Federated Learning with Early-Stopping Strategy [7.963276533979389]
フェデレートラーニング(FL)がIoT(Internet of Things)で大人気
FLrceは、関係ベースのクライアント選択と早期停止戦略を備えた効率的なFLフレームワークである。
その結果,既存のFLフレームワークと比較してFLrceは計算効率を少なくとも30%,通信効率を43%向上させることがわかった。
論文 参考訳（メタデータ） (2023-10-15T10:13:44Z) - SlimFL: Federated Learning with Superposition Coding over Slimmable
Neural Networks [56.68149211499535]
フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。
本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。
局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文 参考訳（メタデータ） (2022-03-26T15:06:13Z) - Joint Superposition Coding and Training for Federated Learning over
Multi-Width Neural Networks [52.93232352968347]
本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。
FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。
局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文 参考訳（メタデータ） (2021-12-05T11:17:17Z) - On the Tradeoff between Energy, Precision, and Accuracy in Federated
Quantized Neural Networks [68.52621234990728]
無線ネットワーク上でのフェデレーション学習(FL)は、精度、エネルギー効率、精度のバランスをとる必要がある。
本稿では,ローカルトレーニングとアップリンク伝送の両方において,有限レベルの精度でデータを表現できる量子化FLフレームワークを提案する。
我々のフレームワークは標準的なFLモデルと比較してエネルギー消費量を最大53%削減できる。
論文 参考訳（メタデータ） (2021-11-15T17:00:03Z) - Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural
Networks [52.32646357164739]
最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。
提案されたSIDNNは、幅広いOPFスキームと互換性がある。
他のLearning-to-OPFスキームとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-03-27T00:45:23Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。