論文の概要: LoLaFL: Low-Latency Federated Learning via Forward-only Propagation

• arxiv url: http://arxiv.org/abs/2412.14668v1
• Date: Thu, 19 Dec 2024 09:20:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:32:30.363275
• Title: LoLaFL: Low-Latency Federated Learning via Forward-only Propagation
• Title（参考訳）: LoLaFL: フォワードのみのプロパゲーションによる低レイテンシフェデレーションラーニング
• Authors: Jierui Zhang, Jianhao Huang, Kaibin Huang,
• Abstract要約: フェデレートラーニング(FL)は,分散データによるエッジラーニングを実現するためのパラダイムとして広く採用されている。 バックプロパゲーションによってトレーニングされたディープニューラルネットワークを持つ従来のFLは、第6世代(6G)モバイルネットワークの低レイテンシ学習要件を満たすことはほとんどできない。 我々は、線形識別特徴を学習し、その結果のホワイトボックスニューラルネットワークをFLに拡張するために、最大符号化率削減の最先端原理を採用する。
• 参考スコア（独自算出の注目度）: 25.99531618965931
• License:
• Abstract: Federated learning (FL) has emerged as a widely adopted paradigm for enabling edge learning with distributed data while ensuring data privacy. However, the traditional FL with deep neural networks trained via backpropagation can hardly meet the low-latency learning requirements in the sixth generation (6G) mobile networks. This challenge mainly arises from the high-dimensional model parameters to be transmitted and the numerous rounds of communication required for convergence due to the inherent randomness of the training process. To address this issue, we adopt the state-of-the-art principle of maximal coding rate reduction to learn linear discriminative features and extend the resultant white-box neural network into FL, yielding the novel framework of Low-Latency Federated Learning (LoLaFL) via forward-only propagation. LoLaFL enables layer-wise transmissions and aggregation with significantly fewer communication rounds, thereby considerably reducing latency. Additionally, we propose two \emph{nonlinear} aggregation schemes for LoLaFL. The first scheme is based on the proof that the optimal NN parameter aggregation in LoLaFL should be harmonic-mean-like. The second scheme further exploits the low-rank structures of the features and transmits the low-rank-approximated covariance matrices of features to achieve additional latency reduction. Theoretic analysis and experiments are conducted to evaluate the performance of LoLaFL. In comparison with traditional FL, the two nonlinear aggregation schemes for LoLaFL can achieve reductions in latency of over 91\% and 98\%, respectively, while maintaining comparable accuracies.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データプライバシを確保しながら、分散データによるエッジラーニングを可能にするための、広く採用されているパラダイムとして登場した。 しかし、バックプロパゲーションによってトレーニングされたディープニューラルネットワークを持つ従来のFLは、第6世代(6G)モバイルネットワークの低レイテンシ学習要件を満たすことはほとんどできない。 この課題は主に、伝達される高次元モデルパラメータと、トレーニングプロセス固有のランダム性に起因する収束に必要な多数の通信ラウンドから生じる。 この問題に対処するために、線形識別特徴を学習し、結果として得られるホワイトボックスニューラルネットワークをFLに拡張するために、最大符号化率の削減という最先端の原則を採用し、フォワードのみの伝搬を通じて低レイテンシフェデレート学習(LoLaFL)の新たなフレームワークを提供する。 LoLaFLは層単位での伝送とアグリゲーションを可能にし、通信ラウンドが大幅に少なくなり、遅延を大幅に低減する。 さらに,LoLaFLに対する2つのemph{nonlinear}アグリゲーションスキームを提案する。 最初のスキームは、LoLaFLにおける最適NNパラメータアグリゲーションがハーモニック平均様であることの証明に基づいている。 第2のスキームは、特徴の低ランク構造をさらに活用し、特徴の低ランク近似共分散行列を送信し、さらなる遅延低減を実現する。 理論解析と実験を行い,LoLaFLの性能評価を行った。 従来のFLと比較して、LoLaFLの2つの非線形アグリゲーションスキームは、同等の精度を維持しながら、それぞれ91\%と98\%の遅延を減少させることができる。

関連論文リスト

• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Delay-Aware Hierarchical Federated Learning [7.292078085289465]
  本稿では,分散機械学習(ML)モデルの学習効率を向上させるために,遅延認識型階層型学習(DFL)を提案する。 グローバル同期の間、クラウドサーバは、凸制御アルゴリズムを使用して、ローカルモデルを時代遅れのグローバルモデルと統合する。 数値評価により、DFLの高速グローバルモデル、収束資源の削減、通信遅延に対する評価において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-03-22T09:23:29Z)
• SlimFL: Federated Learning with Superposition Coding over Slimmable Neural Networks [56.68149211499535]
  フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。 本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2022-03-26T15:06:13Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)
• Communication-Efficient Federated Learning with Binary Neural Networks [15.614120327271557]
  フェデレート・ラーニング(Federated Learning, FL)は、プライバシ保護のための機械学習環境である。 FLは、トレーニングをコーディネートするすべてのクライアントとサーバ間のパラメータの頻繁な交換を伴う。 本稿では,通常の実数値ニューラルネットワークの代わりに,FL設定におけるバイナリニューラルネットワーク(BNN)のトレーニングを検討する。
  論文  参考訳（メタデータ） (2021-10-05T15:59:49Z)
• Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
  無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。 最適解を得るために,二項探索アルゴリズムを提案する。 シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-05T19:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。