論文の概要: Overlay-based Decentralized Federated Learning in Bandwidth-limited Networks

• arxiv url: http://arxiv.org/abs/2408.04705v1
• Date: Thu, 8 Aug 2024 18:05:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-12 17:30:10.182131
• Title: Overlay-based Decentralized Federated Learning in Bandwidth-limited Networks
• Title（参考訳）: 帯域限定ネットワークにおけるオーバーレイに基づく分散フェデレーション学習
• Authors: Yudi Huang, Tingyang Sun, Ting He,
• Abstract要約: 分散連合学習(DFL)は、中央集権的調整なしに分散エージェントを直接学習することで、人工知能(AI)の展開を促進するという約束を持っている。 既存のソリューションの多くは、隣接するエージェントが基盤となる通信ネットワークに物理的に隣接しているという単純な仮定に基づいている。 我々は,帯域幅制限ネットワークにおける通信要求と通信スケジュールを,基礎となるネットワークからの明示的な協力を必要とせず,共同で設計する。
• 参考スコア（独自算出の注目度）: 3.9162099309900835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The emerging machine learning paradigm of decentralized federated learning (DFL) has the promise of greatly boosting the deployment of artificial intelligence (AI) by directly learning across distributed agents without centralized coordination. Despite significant efforts on improving the communication efficiency of DFL, most existing solutions were based on the simplistic assumption that neighboring agents are physically adjacent in the underlying communication network, which fails to correctly capture the communication cost when learning over a general bandwidth-limited network, as encountered in many edge networks. In this work, we address this gap by leveraging recent advances in network tomography to jointly design the communication demands and the communication schedule for overlay-based DFL in bandwidth-limited networks without requiring explicit cooperation from the underlying network. By carefully analyzing the structure of our problem, we decompose it into a series of optimization problems that can each be solved efficiently, to collectively minimize the total training time. Extensive data-driven simulations show that our solution can significantly accelerate DFL in comparison with state-of-the-art designs.
• Abstract（参考訳）: 分散化された連合学習(DFL)の新たな機械学習パラダイムは、中央集権的な調整なしに分散エージェントを直接学習することで、人工知能(AI)の展開を大幅に促進する、という約束を持っている。 DFLの通信効率向上に多大な努力を払っているにもかかわらず、既存のソリューションのほとんどは、近隣のエージェントが基盤となる通信ネットワークに物理的に隣接しているという単純な仮定に基づいており、多くのエッジネットワークで見られるように、一般的な帯域幅制限ネットワーク上での学習において、通信コストを正確に把握することができなかった。 本研究では,ネットワークトモグラフィの最近の進歩を活用し,帯域幅制限ネットワークにおける通信要求と通信スケジュールの協調設計を行う。 この問題の構造を慎重に解析することにより、各問題を効率的に解ける一連の最適化問題に分解し、総トレーニング時間を最小化する。 大規模データ駆動シミュレーションにより,本手法は最先端設計と比較してDFLを著しく高速化できることが示された。

関連論文リスト

• AI Flow at the Network Edge [58.31090055138711]
  AI Flowは、デバイス、エッジノード、クラウドサーバ間で利用可能な異種リソースを共同で活用することで、推論プロセスを合理化するフレームワークである。 この記事では、AI Flowのモチベーション、課題、原則を特定するためのポジションペーパーとして機能する。
  論文  参考訳（メタデータ） (2024-11-19T12:51:17Z)
• FedsLLM: Federated Split Learning for Large Language Models over Communication Networks [30.47242577997792]
  本稿では,低ランク適応技術 (LoRA) と分割学習フレームワークを組み合わせることで,大規模言語モデル (FedsLLM) のためのフェデレーション分割学習を提案する。 提案アルゴリズムは、最適化されていないシナリオと比較して平均47.63%遅延を削減する。
  論文  参考訳（メタデータ） (2024-07-12T13:23:54Z)
• Coordination-free Decentralised Federated Learning on Complex Networks: Overcoming Heterogeneity [2.6849848612544]
  Federated Learning(FL)は、エッジコンピューティングシナリオで学習タスクを実行するためのフレームワークである。 本稿では,コミュニケーション効率のよい分散フェデレート学習(DFL)アルゴリズムを提案する。 我々のソリューションは、デバイスが直接隣人とのみ通信し、正確なモデルを訓練することを可能にする。
  論文  参考訳（メタデータ） (2023-12-07T18:24:19Z)
• Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
  フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。 FEIシステムは異種通信と計算資源分布を示す。 本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-26T08:13:22Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)
• Convergence Analysis and System Design for Federated Learning over Wireless Networks [16.978276697446724]
  フェデレートラーニング(FL)は、IoTにおいて重要かつ有望な学習スキームとして登場した。 FLトレーニングは、無線通信ネットワークに大きく影響される頻繁なモデル交換を必要とします。 本論文では,コミュニケーションネットワークとトレーニング設定の協調影響を考慮したFLトレーニングの収束率を解析する。
  論文  参考訳（メタデータ） (2021-04-30T02:33:29Z)
• Federated Double Deep Q-learning for Joint Delay and Energy Minimization in IoT networks [12.599009485247283]
  本稿では,多目的最適化問題の解法として,連合型深層強化学習フレームワークを提案する。 各エピソードの最後に,IoTデバイス(エージェント)の学習速度を高めるために,フェデレーション学習(FDL)を取り入れた。 提案するDDQNフレームワークの有効性を,学習速度の観点から検証した。
  論文  参考訳（メタデータ） (2021-04-02T18:41:59Z)
• Communication-Efficient and Distributed Learning Over Wireless Networks: Principles and Applications [55.65768284748698]
  機械学習(ML)は、第5世代(5G)通信システムなどのための有望なイネーブルである。 本稿では、関連するコミュニケーションとMLの原則を概観し、選択したユースケースでコミュニケーション効率と分散学習フレームワークを提示することを目的とする。
  論文  参考訳（メタデータ） (2020-08-06T12:37:14Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。