論文の概要: EdgeML: Towards Network-Accelerated Federated Learning over Wireless Edge

• arxiv url: http://arxiv.org/abs/2111.09410v1
• Date: Thu, 14 Oct 2021 14:06:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-21 17:35:46.261045
• Title: EdgeML: Towards Network-Accelerated Federated Learning over Wireless Edge
• Title（参考訳）: EdgeML: ネットワークによるワイヤレスエッジ上のフェデレーション学習を目指す
• Authors: Pinyarash Pinyoanuntapong, Prabhu Janakaraj, Ravikumar Balakrishnan, Minwoo Lee, Chen Chen, and Pu Wang
• Abstract要約: Federated Learning(FL)は、次世代AIシステムのための分散機械学習技術である。 本稿では,マルチホップフェデレーションネットワークの性能を最適化することにより,無線エッジ上のFL収束を加速することを目的とする。
• 参考スコア（独自算出の注目度）: 11.49608766562657
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) is a distributed machine learning technology for next-generation AI systems that allows a number of workers, i.e., edge devices, collaboratively learn a shared global model while keeping their data locally to prevent privacy leakage. Enabling FL over wireless multi-hop networks can democratize AI and make it accessible in a cost-effective manner. However, the noisy bandwidth-limited multi-hop wireless connections can lead to delayed and nomadic model updates, which significantly slows down the FL convergence speed. To address such challenges, this paper aims to accelerate FL convergence over wireless edge by optimizing the multi-hop federated networking performance. In particular, the FL convergence optimization problem is formulated as a Markov decision process (MDP). To solve such MDP, multi-agent reinforcement learning (MA-RL) algorithms along with domain-specific action space refining schemes are developed, which online learn the delay-minimum forwarding paths to minimize the model exchange latency between the edge devices (i.e., workers) and the remote server. To validate the proposed solutions, FedEdge is developed and implemented, which is the first experimental framework in the literature for FL over multi-hop wireless edge computing networks. FedEdge allows us to fast prototype, deploy, and evaluate novel FL algorithms along with RL-based system optimization methods in real wireless devices. Moreover, a physical experimental testbed is implemented by customizing the widely adopted Linux wireless routers and ML computing nodes.Finally, our experimentation results on the testbed show that the proposed network-accelerated FL system can practically and significantly improve FL convergence speed, compared to the FL system empowered by the production-grade commercially available wireless networking protocol, BATMAN-Adv.
• Abstract（参考訳）: フェデレーション・ラーニング(federated learning, fl)は、次世代aiシステムのための分散機械学習技術で、複数のワーカ、すなわちエッジデバイスが、プライバシの漏洩を防ぐためにデータをローカルに保持しながら共有グローバルモデルを共同学習する。 無線マルチホップネットワーク上でFLを実現することで、AIを民主化し、コスト効率の良い方法でアクセスできるようにする。 しかし、ノイズの多い帯域幅制限のマルチホップ無線接続は、FL収束速度を著しく低下させる遅延と遊牧モデルの更新につながる可能性がある。 そこで本稿では,マルチホップフェデレーションネットワークの性能を最適化することにより,無線エッジ上でのfl収束を高速化することを目的とする。 特に、FL収束最適化問題はマルコフ決定過程(MDP)として定式化される。 このようなMDPを解決するために、マルチエージェント強化学習(MA-RL)アルゴリズムとドメイン固有のアクション空間精製スキームを開発し、遅延最小転送経路をオンラインで学習し、エッジデバイス(例えばワーカ)とリモートサーバ間のモデル交換遅延を最小限にする。 提案手法を検証するためにFedEdgeを開発し実装し,マルチホップ無線エッジコンピューティングネットワーク上でのFLの文献化における最初の実験的フレームワークである。 FedEdgeは、RLベースのシステム最適化手法とともに、新しいFLアルゴリズムのプロトタイプを高速に作成、デプロイ、評価することができる。 さらに、広く採用されているLinux無線ルータとMLコンピューティングノードをカスタマイズして物理実験用テストベッドを実装し、本テストベッドにおける実験結果から、提案したネットワーク高速化FLシステムは、製品グレードの商用無線ネットワークプロトコルであるBATMAN-Advによって強化されたFLシステムと比較して、FL収束速度を実用的かつ有意に向上させることができることが示された。

関連論文リスト

• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Digital Over-the-Air Federated Learning in Multi-Antenna Systems [30.137208705209627]
  デジタル変調とオーバー・ザ・エア計算(AirComp)を用いた現実的な無線通信システム上でのフェデレーション学習(FL)の性能最適化について検討する。 本稿では,デジタル変調とAirCompを組み合わせたFedAvg(FedAvg)アルゴリズムを提案する。 人工ニューラルネットワーク(ANN)は、すべてのデバイスの局所FLモデルを推定し、将来のモデル伝送のためにPSのビーム形成行列を調整するために使用される。
  論文  参考訳（メタデータ） (2023-02-04T07:26:06Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• CFLIT: Coexisting Federated Learning and Information Transfer [18.30671838758503]
  本研究では,モバイルエッジネットワークにおける無線放送と従来型情報伝達(IT)の共存性について検討する。 FLとITデバイスがOFDMシステムで無線スペクトルを共有するCFLIT(Commanded Learning and Information Transfer)通信フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-26T13:17:28Z)
• Over-the-Air Federated Learning via Second-Order Optimization [37.594140209854906]
  フェデレートラーニング(FL)は、無線ネットワーク上でのタスク指向のデータトラフィックを、限られた無線リソースによって引き起こす可能性がある。 本稿では,通信ラウンドを同時に削減し,低レイテンシなグローバルモデルアグリゲーションを実現するために,空対2次フェデレーション最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-29T12:39:23Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)
• Over-the-Air Federated Learning with Retransmissions (Extended Version) [21.37147806100865]
  資源制約のある無線ネットワーク上でのフェデレート学習(FL)の収束に対する推定誤差の影響について検討する。 資源制約のある無線ネットワーク上でFL収束を改善する手法として再送信を提案する。
  論文  参考訳（メタデータ） (2021-11-19T15:17:15Z)
• Unit-Modulus Wireless Federated Learning Via Penalty Alternating Minimization [64.76619508293966]
  Wireless Federated Learning(FL)は、分散データセットから無線通信を介してグローバルパラメトリックモデルをトレーニングする、新興機械学習パラダイムである。 本稿では、ローカルモデルパラメータをアップロードし、無線通信を介してグローバルモデルパラメータを算出する無線FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-31T08:19:54Z)
• FedFog: Network-Aware Optimization of Federated Learning over Wireless Fog-Cloud Systems [40.421253127588244]
  フェデレートラーニング(FL)は、訓練されたローカルパラメータを定期的に集約することで、複数のエッジユーザにわたって大規模な分散機械学習タスクを実行することができる。 まず,フォグサーバにおける勾配パラメータの局所的な集約と,クラウドでのグローバルトレーニング更新を行うための効率的なFLアルゴリズム(FedFog)を提案する。
  論文  参考訳（メタデータ） (2021-07-04T08:03:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。