論文の概要: Communication-Efficient Federated Optimization over Semi-Decentralized
Networks
- arxiv url: http://arxiv.org/abs/2311.18787v1
- Date: Thu, 30 Nov 2023 18:37:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 15:25:20.431527
- Title: Communication-Efficient Federated Optimization over Semi-Decentralized
Networks
- Title(参考訳): 半分散ネットワーク上での通信効率のよい連合最適化
- Authors: He Wang, Yuejie Chi
- Abstract要約: 通信効率は、大規模ネットワークにおいて最も困難なボトルネックの1つである。
本稿では,エージェント間通信とエージェント間通信の両方を行う半分散通信プロトコルの通信効率について検討する。
- 参考スコア(独自算出の注目度): 42.11743453542266
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In large-scale federated and decentralized learning, communication efficiency
is one of the most challenging bottlenecks. While gossip communication -- where
agents can exchange information with their connected neighbors -- is more
cost-effective than communicating with the remote server, it often requires a
greater number of communication rounds, especially for large and sparse
networks. To tackle the trade-off, we examine the communication efficiency
under a semi-decentralized communication protocol, in which agents can perform
both agent-to-agent and agent-to-server communication in a probabilistic
manner. We design a tailored communication-efficient algorithm over
semi-decentralized networks, referred to as PISCO, which inherits the
robustness to data heterogeneity thanks to gradient tracking and allows
multiple local updates for saving communication. We establish the convergence
rate of PISCO for nonconvex problems and show that PISCO enjoys a linear
speedup in terms of the number of agents and local updates. Our numerical
results highlight the superior communication efficiency of PISCO and its
resilience to data heterogeneity and various network topologies.
- Abstract(参考訳): 大規模なフェデレーションと分散学習では、コミュニケーション効率は最も困難なボトルネックの1つです。
エージェントが隣人と情報を交換できるゴシップ通信は、リモートサーバとの通信よりもコスト効率が高いが、特に大規模で疎結合なネットワークでは、より多くの通信ラウンドが必要になることが多い。
このトレードオフに対処するため,エージェント間通信とエージェント間通信の両方を確率的に行う半分散通信プロトコルを用いて通信効率を検証した。
piscoと呼ばれる半分散ネットワーク上の通信効率を最適化したアルゴリズムを設計し、勾配追跡によってデータの不均一性にロバスト性を継承し、複数のローカル更新を可能とし、通信を節約する。
非凸問題に対するPISCOの収束速度を確立し、PISCOがエージェント数と局所更新数で線形スピードアップを楽しむことを示す。
数値計算の結果,PISCOの通信効率が向上し,データの均一性やネットワークトポロジに対するレジリエンスが向上した。
関連論文リスト
- Learning to Cooperate and Communicate Over Imperfect Channels [27.241873614561538]
本稿では,エージェントが限定的かつ信頼性の低いチャネルを用いて,情報を分散的に処理・交換する協調型マルチエージェントシステムについて考察する。
提案手法では,異なる大きさのメッセージを送信することで,共有する情報の量に動的に適応することができる。
本手法は,新しい協調型桁予測環境において適応性のない手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-11-24T12:15:48Z) - Decentralized Learning over Wireless Networks with Broadcast-Based
Subgraph Sampling [36.99249604183772]
この研究は、コンセンサスに基づく分散降下(D-SGD)を用いた、無線ネットワーク上の分散学習のコミュニケーション面を中心にしている。
ネットワーク内情報交換による実際の通信コストや遅延を考慮すると,送信スロット毎の改善によって測定されたアルゴリズムの高速収束を実現することが目的である。
本稿では,無線ネットワーク上でのD-SGDの効率的な通信フレームワークであるBASSを提案する。
論文 参考訳(メタデータ) (2023-10-24T18:15:52Z) - Multi-Agent Reinforcement Learning Based on Representational
Communication for Large-Scale Traffic Signal Control [13.844458247041711]
交通信号制御(TSC)は、インテリジェント交通システムにおいて難しい問題である。
大規模TSCのための通信ベースのMARLフレームワークを提案する。
私たちのフレームワークでは、各エージェントがメッセージのどの部分を誰に"送信"するかを指示する通信ポリシーを学習することができます。
論文 参考訳(メタデータ) (2023-10-03T21:06:51Z) - Decentralized Learning over Wireless Networks: The Effect of Broadcast
with Random Access [56.91063444859008]
本稿では,D-SGDのコンバージェンス性能に及ぼす放送送信と確率的ランダムアクセスポリシーの影響について検討する。
この結果から,アクセス確率を最適化し,期待されるリンク数の最大化が,システム収束を加速するための極めて効果的な戦略であることが示唆された。
論文 参考訳(メタデータ) (2023-05-12T10:32:26Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳(メタデータ) (2022-06-01T02:20:57Z) - Multi-agent Communication with Graph Information Bottleneck under
Limited Bandwidth (a position paper) [92.11330289225981]
多くの実世界のシナリオでは、通信は高価であり、マルチエージェントシステムの帯域幅には一定の制約がある。
通信資源を占有する冗長なメッセージは、情報的メッセージの送信をブロックし、パフォーマンスを損なう。
本稿では,通信グラフ内の構造情報とノード情報を効果的に圧縮し,帯域幅に制約のある設定に対処する,新しいマルチエージェント通信モジュールCommGIBを提案する。
論文 参考訳(メタデータ) (2021-12-20T07:53:44Z) - Federated Learning over Wireless IoT Networks with Optimized
Communication and Resources [98.18365881575805]
協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。
無線システム上での高速応答および高精度FLスキームの検証が重要である。
提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
論文 参考訳(メタデータ) (2021-10-22T13:25:57Z) - Communication-Efficient Split Learning Based on Analog Communication and
Over the Air Aggregation [48.150466900765316]
スプリットラーニング(SL)は、その固有のプライバシー保護機能と、限られた計算能力を持つデバイスに対する協調推論を可能にする能力により、最近人気を集めている。
標準SLアルゴリズムは、理想的なデジタル通信システムを想定し、通信帯域不足の問題を無視している。
本稿では,エージェント側で追加層を導入し,重みとバイアスの選択を制約し,空気の凝集を確実にするための新しいSLフレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-02T07:49:41Z) - Communication-Efficient and Distributed Learning Over Wireless Networks:
Principles and Applications [55.65768284748698]
機械学習(ML)は、第5世代(5G)通信システムなどのための有望なイネーブルである。
本稿では、関連するコミュニケーションとMLの原則を概観し、選択したユースケースでコミュニケーション効率と分散学習フレームワークを提示することを目的とする。
論文 参考訳(メタデータ) (2020-08-06T12:37:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。