論文の概要: Towards Communication-Learning Trade-off for Federated Learning at the Network Edge

• arxiv url: http://arxiv.org/abs/2205.14271v1
• Date: Fri, 27 May 2022 23:11:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 18:42:07.084089
• Title: Towards Communication-Learning Trade-off for Federated Learning at the Network Edge
• Title（参考訳）: ネットワークエッジにおける連合学習のためのコミュニケーション・ラーニングトレードオフに向けて
• Authors: Jianyang Ren, Wanli Ni, and Hui Tian
• Abstract要約: 限られたリソースを持つローカルユーザに対して,ネットワークプルーニングを適用した無線学習システム(FL)を提案する。 FLレイテンシーには有益だが、情報損失も悪化する。
• 参考スコア（独自算出の注目度）: 5.267288702335319
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this letter, we study a wireless federated learning (FL) system where network pruning is applied to local users with limited resources. Although pruning is beneficial to reduce FL latency, it also deteriorates learning performance due to the information loss. Thus, a trade-off problem between communication and learning is raised. To address this challenge, we quantify the effects of network pruning and packet error on the learning performance by deriving the convergence rate of FL with a non-convex loss function. Then, closed-form solutions for pruning control and bandwidth allocation are proposed to minimize the weighted sum of FL latency and FL performance. Finally, numerical results demonstrate that 1) our proposed solution can outperform benchmarks in terms of cost reduction and accuracy guarantee, and 2) a higher pruning rate would bring less communication overhead but also worsen FL accuracy, which is consistent with our theoretical analysis.
• Abstract（参考訳）: 本稿では,限られたリソースを持つローカルユーザに対して,ネットワークプルーニングを適用する無線フェデレーション学習(FL)システムについて検討する。 プルーニングはfl遅延を減らすのに有用であるが、情報損失による学習性能も低下する。 これにより,コミュニケーションと学習のトレードオフ問題が発生する。 そこで本研究では,flの収束率を非凸損失関数で導出することにより,ネットワークプルーニングとパケットエラーが学習性能に及ぼす影響を定量化する。 次に、flレイテンシとfl性能の重み付け和を最小化するために、プルーニング制御と帯域割り当てのためのクローズドフォームソリューションを提案する。 最後に数値的な結果から 1) 提案手法は, コスト削減と精度保証の観点から, ベンチマークを上回ることができる。 2) 刈り取り速度が高いと通信オーバーヘッドは少なくなり, flの精度も低下する。

関連論文リスト

• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Service Delay Minimization for Federated Learning over Mobile Devices [36.027677482303076]
  モバイルデバイス上でのフェデレーション学習は、多くの興味深いアプリケーション/サービスを生み出している。 本稿では,モバイル端末上でのサービス遅延効率FL(SDEFL)方式を提案する。
  論文  参考訳（メタデータ） (2022-05-19T21:25:02Z)
• FedCau: A Proactive Stop Policy for Communication and Computation Efficient Federated Learning [9.107162745224162]
  無線機器の無線ネットワーク上でのフェデレーション学習(FL)モデルの効率的な分散訓練について検討する。 総費用がかかると、背景通信トラフィックやトレーニング問題の寸法が増大するにつれて、トレーニング性能が低下することを示す。
  論文  参考訳（メタデータ） (2022-04-16T10:27:23Z)
• Over-the-Air Federated Learning with Retransmissions (Extended Version) [21.37147806100865]
  資源制約のある無線ネットワーク上でのフェデレート学習(FL)の収束に対する推定誤差の影響について検討する。 資源制約のある無線ネットワーク上でFL収束を改善する手法として再送信を提案する。
  論文  参考訳（メタデータ） (2021-11-19T15:17:15Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)
• Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
  無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。 最適解を得るために,二項探索アルゴリズムを提案する。 シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-05T19:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。