論文の概要: Multi-Server Over-the-Air Federated Learning
- arxiv url: http://arxiv.org/abs/2211.16162v1
- Date: Tue, 29 Nov 2022 12:46:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 15:38:24.172924
- Title: Multi-Server Over-the-Air Federated Learning
- Title（参考訳）: Multi-Server Over-the-Air Federated Learning
- Authors: Seyed Mohammad Azimi-Abarghouyi, Viktoria Fodor
- Abstract要約: 分散セットアップのための通信効率のよい2層フェデレーション学習アルゴリズムを提案する。
本稿では,提案アルゴリズムの収束を導出するための包括的数学的アプローチを提案する。
提案したアップリンクおよびダウンリンク方式の干渉にもかかわらず,提案アルゴリズムは様々なパラメータに対して高い学習精度を実現する。
- 参考スコア（独自算出の注目度）: 7.079066384884289
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: In this work, we propose a communication-efficient two-layer federated
learning algorithm for distributed setups including a core server and multiple
edge servers with clusters of devices. Assuming different learning tasks,
clusters with a same task collaborate. To implement the algorithm over wireless
links, we propose a scalable clustered over-the-air aggregation scheme for the
uplink with a bandwidth-limited broadcast scheme for the downlink that requires
only two single resource blocks for each algorithm iteration, independent of
the number of edge servers and devices. This setup is faced with interference
of devices in the uplink and interference of edge servers in the downlink that
are to be modeled rigorously. We first develop a spatial model for the setup by
modeling devices as a Poisson cluster process over the edge servers and
quantify uplink and downlink error terms due to the interference. Accordingly,
we present a comprehensive mathematical approach to derive the convergence
bound for the proposed algorithm including any number of collaborating clusters
in the setup and provide important special cases and design remarks. Finally,
we show that despite the interference in the proposed uplink and downlink
schemes, the proposed algorithm achieves high learning accuracy for a variety
of parameters.
- Abstract（参考訳）: 本研究では,コアサーバや複数のエッジサーバを含む分散セットアップのための通信効率の高い2層フェデレーション学習アルゴリズムを提案する。
異なる学習タスクを仮定すると、同じタスクを持つクラスタが協力する。
このアルゴリズムを無線リンク上で実装するには,エッジサーバやデバイス数によらず,アルゴリズムイテレーション毎に2つの単一のリソースブロックしか必要としないダウンリンク用の帯域制限されたブロードキャストスキームを備えたアップリンクのためのスケーラブルなクラスタ型無線アグリゲーションスキームを提案する。
このセットアップは、アップリンク内のデバイスの干渉と、厳密にモデル化されるダウンリンク内のエッジサーバの干渉に直面します。
まず,エッジサーバ上のpoissonクラスタプロセスとしてデバイスをモデル化し,その干渉によるアップリンクとダウンリンクのエラー項を定量化することにより,セットアップのための空間モデルを構築した。
そこで本研究では,提案アルゴリズムの収束限界を導出するための包括的数学的手法を提案する。
最後に,提案したアップリンクおよびダウンリンク方式の干渉にもかかわらず,提案アルゴリズムは様々なパラメータに対して高い学習精度を実現することを示す。
関連論文リスト
- Robust Regression with Ensembles Communicating over Noisy Channels [16.344212996721346]
本稿では,付加雑音チャネルを介して通信する回帰アルゴリズムを実装したデバイス集合の問題について検討する。
本研究では,チャネル内の雑音のパラメータに対するアグリゲーション係数を最適化する手法を開発した。
本研究は,バギングと勾配向上という,最先端のアンサンブル回帰手法に適用した。
論文 参考訳（メタデータ） (2024-08-20T15:32:47Z) - LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。
全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。
提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
論文 参考訳（メタデータ） (2024-05-23T11:10:32Z) - Hierarchical Over-the-Air Federated Learning with Awareness of
Interference and Data Heterogeneity [3.8798345704175534]
本稿では,無線リソースを無線で効率よく利用するためのスケーラブルな伝送方式を提案する。
干渉とデータの不均一性にもかかわらず,提案手法は高い学習精度を達成し,従来の階層型アルゴリズムよりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2024-01-02T21:43:01Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z) - Multi-agent Reinforcement Learning with Graph Q-Networks for Antenna
Tuning [60.94661435297309]
モバイルネットワークの規模は、手作業による介入や手作業による戦略を使ってアンテナパラメータの最適化を困難にしている。
本研究では,モバイルネットワーク構成をグローバルに最適化するマルチエージェント強化学習アルゴリズムを提案する。
シミュレーション環境におけるアンテナ傾き調整問題とジョイント傾き・電力制御問題に対するアルゴリズムの性能を実証的に示す。
論文 参考訳（メタデータ） (2023-01-20T17:06:34Z) - Personalized Decentralized Multi-Task Learning Over Dynamic
Communication Graphs [59.96266198512243]
本稿では,正と負の相関関係を持つタスクに対する分散・フェデレーション学習アルゴリズムを提案する。
本アルゴリズムでは,タスク間の相関関係を自動的に計算し,コミュニケーショングラフを動的に調整して相互に有益なタスクを接続し,互いに悪影響を及ぼす可能性のあるタスクを分離する。
合成ガウスデータセットと大規模セレブ属性(CelebA)データセットについて実験を行った。
論文 参考訳（メタデータ） (2022-12-21T18:58:24Z) - Task-Oriented Sensing, Computation, and Communication Integration for
Multi-Device Edge AI [108.08079323459822]
本稿では,AIモデルの分割推論と統合センシング通信(ISAC)を併用した,新しいマルチインテリジェントエッジ人工レイテンシ(AI)システムについて検討する。
推定精度は近似的だが抽出可能な計量、すなわち判別利得を用いて測定する。
論文 参考訳（メタデータ） (2022-07-03T06:57:07Z) - Over-the-Air Federated Learning via Second-Order Optimization [37.594140209854906]
フェデレートラーニング(FL)は、無線ネットワーク上でのタスク指向のデータトラフィックを、限られた無線リソースによって引き起こす可能性がある。
本稿では,通信ラウンドを同時に削減し,低レイテンシなグローバルモデルアグリゲーションを実現するために,空対2次フェデレーション最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-03-29T12:39:23Z) - Resource-constrained Federated Edge Learning with Heterogeneous Data:
Formulation and Analysis [8.863089484787835]
ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。
FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
論文 参考訳（メタデータ） (2021-10-14T17:35:24Z) - A Compressive Sensing Approach for Federated Learning over Massive MIMO
Communication Systems [82.2513703281725]
フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。
本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
論文 参考訳（メタデータ） (2020-03-18T05:56:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。