論文の概要: Sparse Incremental Aggregation in Multi-Hop Federated Learning

• arxiv url: http://arxiv.org/abs/2407.18200v1
• Date: Thu, 25 Jul 2024 17:09:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-26 13:19:20.750130
• Title: Sparse Incremental Aggregation in Multi-Hop Federated Learning
• Title（参考訳）: マルチホップフェデレーション学習におけるスパースインクリメンタルアグリゲーション
• Authors: Sourav Mukherjee, Nasrin Razmi, Armin Dekorsy, Petar Popovski, Bho Matthiesen,
• Abstract要約: 本稿では,マルチホップ通信システムにおけるフェデレーション学習について検討する。 このセットアップでは、FLクライアントの一部が他のクライアントの結果をパラメータサーバに転送する責任を負います。 本研究では,従来のルーティングよりも通信効率が15倍向上し,最先端(SoA)スパースIAよりも11倍向上したことを示す。
• 参考スコア（独自算出の注目度）: 33.97564025782028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates federated learning (FL) in a multi-hop communication setup, such as in constellations with inter-satellite links. In this setup, part of the FL clients are responsible for forwarding other client's results to the parameter server. Instead of using conventional routing, the communication efficiency can be improved significantly by using in-network model aggregation at each intermediate hop, known as incremental aggregation (IA). Prior works [1] have indicated diminishing gains for IA under gradient sparsification. Here we study this issue and propose several novel correlated sparsification methods for IA. Numerical results show that, for some of these algorithms, the full potential of IA is still available under sparsification without impairing convergence. We demonstrate a 15x improvement in communication efficiency over conventional routing and a 11x improvement over state-of-the-art (SoA) sparse IA.
• Abstract（参考訳）: 本稿では,衛星間リンクを持つ星座などのマルチホップ通信システムにおけるフェデレーションラーニング(FL)について検討する。 このセットアップでは、FLクライアントの一部が他のクライアントの結果をパラメータサーバに転送する責任を負います。 従来のルーティングを使用する代わりに、インクリメンタルアグリゲーション(IA)として知られる各中間ホップでネットワークモデルアグリゲーションを使用することで、通信効率を大幅に改善することができる。 先行研究[1]は、勾配のスペーサー化下でのIAの利得の減少を示唆している。 そこで本研究では,IAに対する新しい相関スペーサー化法を提案する。 数値的な結果は、これらのアルゴリズムのいくつかでは、IAの完全なポテンシャルは、収束を損なうことなく、まだスパシフィケーション下で利用できることを示している。 本研究では,従来のルーティングよりも通信効率が15倍向上し,最先端(SoA)スパースIAよりも11倍向上したことを示す。

関連論文リスト

• Joint User Association, Interference Cancellation and Power Control for Multi-IRS Assisted UAV Communications [80.35959154762381]
  インテリジェント反射面(IRS)支援無人航空機(UAV)通信は、地上基地局の負荷を低コストで軽減することが期待されている。 既存の研究は主に、複数のIRSではなく単一のIRSの配置とリソース割り当てに焦点を当てている。 我々は,共同IRSユーザアソシエーションのための新しい最適化アルゴリズム,UAVの軌道最適化,逐次干渉キャンセル(SIC)復号命令スケジューリング,電力割り当てを提案する。
  論文  参考訳（メタデータ） (2023-12-08T01:57:10Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Completion Time Minimization of Fog-RAN-Assisted Federated Learning With Rate-Splitting Transmission [21.397106355171946]
  本研究は,複数のIoTデバイスが分散アクセスポイント(AP)を介してクラウドサーバ(CS)と通信することで,共有機械学習モデルを協調的に学習するフォグラジオアクセスネットワーク上でのフェデレーション学習を研究する。 APとCSを接続するフロントハウルリンクの容量が有限であると仮定して、分割アップリンクメッセージのハイブリッドエッジとクラウドデコードを可能にするIoTデバイス(ID)におけるレートスプリット伝送を提案する。 数値計算の結果,提案手法はエッジやクラウドデコーディングのみに依存するベンチマーク方式よりも顕著な利得が得られることがわかった。
  論文  参考訳（メタデータ） (2022-06-03T02:53:19Z)
• Time-Correlated Sparsification for Efficient Over-the-Air Model Aggregation in Wireless Federated Learning [23.05003652536773]
  Federated Edge Learning(FEEL)は、エッジインテリジェンスアプリケーションを駆動するための有望な分散機械学習(ML)フレームワークである。 通信効率の高いFEELのためのハイブリッドアグリゲーション(TCS-H)を用いた時間相関スペーシングを提案する。
  論文  参考訳（メタデータ） (2022-02-17T02:48:07Z)
• Accelerated Gradient Descent Learning over Multiple Access Fading Channels [9.840290491547162]
  N分散エッジデバイスとパラメータサーバ(PS)からなる無線ネットワークにおける分散学習問題を考える。 そこで我々は, ノイズフェージングMAC上での運動量に基づく勾配信号を用いて, 既存の手法と比較して収束率を向上する, 高速勾配多重アクセス(AGMA)アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-07-26T19:51:40Z)
• Multi-task Over-the-Air Federated Learning: A Non-Orthogonal Transmission Approach [52.85647632037537]
  複数の学習タスクがエッジサーバ(ES)の協調の下でデータ収集および学習モデルのためのエッジデバイスを共有するマルチタスク・オーバーテア・フェデレーション・ラーニング(MOAFL)フレームワークを提案する。 収束解析と数値計算の両方の結果から,MOAFLフレームワークは学習性能を著しく低下させることなく,複数のタスクのアップリンク帯域幅の消費を大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2021-06-27T13:09:32Z)
• 1-Bit Compressive Sensing for Efficient Federated Learning Over the Air [32.14738452396869]
  本稿では,1ビットセンシング(CS)をアナログアグリゲーション送信に組み込んだ,空気上の通信効率の高い学習手法を開発し,解析する。 スケーラブルコンピューティングでは,大規模ネットワークに適した効率的な実装を開発する。 シミュレーションの結果,提案した1ビットCSベースのFLは理想的な場合と同等の性能を示した。
  論文  参考訳（メタデータ） (2021-03-30T03:50:31Z)
• On Topology Optimization and Routing in Integrated Access and Backhaul Networks: A Genetic Algorithm-based Approach [70.85399600288737]
  IABネットワークにおけるトポロジ最適化とルーティングの問題について検討する。 我々は、IABノード配置と非IABバックホールリンク分布の両方に効率的な遺伝的アルゴリズムベースのスキームを開発する。 メッシュベースのIABネットワークを実現する上での課題について論じる。
  論文  参考訳（メタデータ） (2021-02-14T21:52:05Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。