論文の概要: Communication-Efficient Federated Optimization over Semi-Decentralized Networks

• arxiv url: http://arxiv.org/abs/2311.18787v2
• Date: Thu, 11 Jan 2024 19:25:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 23:53:21.722656
• Title: Communication-Efficient Federated Optimization over Semi-Decentralized Networks
• Title（参考訳）: 半分散ネットワーク上での通信効率のよい連合最適化
• Authors: He Wang, Yuejie Chi
• Abstract要約: 通信効率は、大規模ネットワークにおいて最も困難なボトルネックの1つである。 本稿では,エージェント間通信とエージェント間通信の両方を行う半分散通信プロトコルの通信効率について検討する。
• 参考スコア（独自算出の注目度）: 42.11743453542266
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In large-scale federated and decentralized learning, communication efficiency is one of the most challenging bottlenecks. While gossip communication -- where agents can exchange information with their connected neighbors -- is more cost-effective than communicating with the remote server, it often requires a greater number of communication rounds, especially for large and sparse networks. To tackle the trade-off, we examine the communication efficiency under a semi-decentralized communication protocol, in which agents can perform both agent-to-agent and agent-to-server communication in a probabilistic manner. We design a tailored communication-efficient algorithm over semi-decentralized networks, referred to as PISCO, which inherits the robustness to data heterogeneity thanks to gradient tracking and allows multiple local updates for saving communication. We establish the convergence rate of PISCO for nonconvex problems and show that PISCO enjoys a linear speedup in terms of the number of agents and local updates. Our numerical results highlight the superior communication efficiency of PISCO and its resilience to data heterogeneity and various network topologies.
• Abstract（参考訳）: 大規模なフェデレーションと分散学習では、コミュニケーション効率は最も困難なボトルネックの1つです。 エージェントが隣人と情報を交換できるゴシップ通信は、リモートサーバとの通信よりもコスト効率が高いが、特に大規模で疎結合なネットワークでは、より多くの通信ラウンドが必要になることが多い。 このトレードオフに対処するため,エージェント間通信とエージェント間通信の両方を確率的に行う半分散通信プロトコルを用いて通信効率を検証した。 piscoと呼ばれる半分散ネットワーク上の通信効率を最適化したアルゴリズムを設計し、勾配追跡によってデータの不均一性にロバスト性を継承し、複数のローカル更新を可能とし、通信を節約する。 非凸問題に対するPISCOの収束速度を確立し、PISCOがエージェント数と局所更新数で線形スピードアップを楽しむことを示す。 数値計算の結果,PISCOの通信効率が向上し,データの均一性やネットワークトポロジに対するレジリエンスが向上した。

関連論文リスト

• Performance-Aware Self-Configurable Multi-Agent Networks: A Distributed Submodular Approach for Simultaneous Coordination and Network Design [3.5527561584422465]
  本稿では、AlterNAting Coordination and Network-Design Algorithm(Anaconda)を紹介する。 Anacondaはスケーラブルなアルゴリズムで、ほぼ最適性を保証する。 地域モニタリングのシミュレーションシナリオを実演し,それを最先端のアルゴリズムと比較する。
  論文  参考訳（メタデータ） (2024-09-02T18:11:33Z)
• Overlay-based Decentralized Federated Learning in Bandwidth-limited Networks [3.9162099309900835]
  分散連合学習(DFL)は、中央集権的調整なしに分散エージェントを直接学習することで、人工知能(AI)の展開を促進するという約束を持っている。 既存のソリューションの多くは、隣接するエージェントが基盤となる通信ネットワークに物理的に隣接しているという単純な仮定に基づいている。 我々は,帯域幅制限ネットワークにおける通信要求と通信スケジュールを,基礎となるネットワークからの明示的な協力を必要とせず,共同で設計する。
  論文  参考訳（メタデータ） (2024-08-08T18:05:11Z)
• Decentralized Learning over Wireless Networks with Broadcast-Based Subgraph Sampling [36.99249604183772]
  この研究は、コンセンサスに基づく分散降下(D-SGD)を用いた、無線ネットワーク上の分散学習のコミュニケーション面を中心にしている。 ネットワーク内情報交換による実際の通信コストや遅延を考慮すると,送信スロット毎の改善によって測定されたアルゴリズムの高速収束を実現することが目的である。 本稿では,無線ネットワーク上でのD-SGDの効率的な通信フレームワークであるBASSを提案する。
  論文  参考訳（メタデータ） (2023-10-24T18:15:52Z)
• Multi-Agent Reinforcement Learning Based on Representational Communication for Large-Scale Traffic Signal Control [13.844458247041711]
  交通信号制御(TSC)は、インテリジェント交通システムにおいて難しい問題である。 大規模TSCのための通信ベースのMARLフレームワークを提案する。 私たちのフレームワークでは、各エージェントがメッセージのどの部分を誰に"送信"するかを指示する通信ポリシーを学習することができます。
  論文  参考訳（メタデータ） (2023-10-03T21:06:51Z)
• Decentralized Learning over Wireless Networks: The Effect of Broadcast with Random Access [56.91063444859008]
  本稿では,D-SGDのコンバージェンス性能に及ぼす放送送信と確率的ランダムアクセスポリシーの影響について検討する。 この結果から,アクセス確率を最適化し,期待されるリンク数の最大化が,システム収束を加速するための極めて効果的な戦略であることが示唆された。
  論文  参考訳（メタデータ） (2023-05-12T10:32:26Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)
• Multi-agent Communication with Graph Information Bottleneck under Limited Bandwidth (a position paper) [92.11330289225981]
  多くの実世界のシナリオでは、通信は高価であり、マルチエージェントシステムの帯域幅には一定の制約がある。 通信資源を占有する冗長なメッセージは、情報的メッセージの送信をブロックし、パフォーマンスを損なう。 本稿では,通信グラフ内の構造情報とノード情報を効果的に圧縮し,帯域幅に制約のある設定に対処する,新しいマルチエージェント通信モジュールCommGIBを提案する。
  論文  参考訳（メタデータ） (2021-12-20T07:53:44Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)
• Communication-Efficient and Distributed Learning Over Wireless Networks: Principles and Applications [55.65768284748698]
  機械学習(ML)は、第5世代(5G)通信システムなどのための有望なイネーブルである。 本稿では、関連するコミュニケーションとMLの原則を概観し、選択したユースケースでコミュニケーション効率と分散学習フレームワークを提示することを目的とする。
  論文  参考訳（メタデータ） (2020-08-06T12:37:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。