論文の概要: Over-the-Air Federated Edge Learning with Hierarchical Clustering
- arxiv url: http://arxiv.org/abs/2207.09232v1
- Date: Tue, 19 Jul 2022 12:42:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-20 14:30:42.290796
- Title: Over-the-Air Federated Edge Learning with Hierarchical Clustering
- Title（参考訳）: 階層クラスタリングによる越空フェデレーションエッジ学習
- Authors: Ozan Ayg\"un, Mohammad Kazemi, Deniz G\"und\"uz, Tolga M. Duman
- Abstract要約: OTA(Over-the-air)アグリゲーションでは、パラメータサーバ(PS)の助けを借りて、モバイルユーザ(MU)がグローバルモデルに関するコンセンサスに到達することを目標としている。
OTA FLでは、MUはトレーニングラウンド毎にローカルデータを使用してモデルをトレーニングし、同じ周波数帯域を非符号化で同時に送信する。
OTA FLは通信コストが大幅に削減されているが、チャネル効果やノイズの影響を受けやすい。
我々は、中間サーバ(IS)を用いてMUがより密集した場所にクラスタを形成する無線ベースの階層FLスキームを提案する。
- 参考スコア（独自算出の注目度）: 21.51594138166343
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We examine federated learning (FL) with over-the-air (OTA) aggregation, where
mobile users (MUs) aim to reach a consensus on a global model with the help of
a parameter server (PS) that aggregates the local gradients. In OTA FL, MUs
train their models using local data at every training round and transmit their
gradients simultaneously using the same frequency band in an uncoded fashion.
Based on the received signal of the superposed gradients, the PS performs a
global model update. While the OTA FL has a significantly decreased
communication cost, it is susceptible to adverse channel effects and noise.
Employing multiple antennas at the receiver side can reduce these effects, yet
the path-loss is still a limiting factor for users located far away from the
PS. To ameliorate this issue, in this paper, we propose a wireless-based
hierarchical FL scheme that uses intermediate servers (ISs) to form clusters at
the areas where the MUs are more densely located. Our scheme utilizes OTA
cluster aggregations for the communication of the MUs with their corresponding
IS, and OTA global aggregations from the ISs to the PS. We present a
convergence analysis for the proposed algorithm, and show through numerical
evaluations of the derived analytical expressions and experimental results that
utilizing ISs results in a faster convergence and a better performance than the
OTA FL alone while using less transmit power. We also validate the results on
the performance using different number of cluster iterations with different
datasets and data distributions. We conclude that the best choice of cluster
aggregations depends on the data distribution among the MUs and the clusters.
- Abstract（参考訳）: そこで,モバイルユーザ(MU)は,局所勾配を集約するパラメータサーバ(PS)の助けを借りて,グローバルモデル上でのコンセンサスの実現を目指す。
OTA FLでは、MUはトレーニングラウンド毎にローカルデータを使用してモデルをトレーニングし、同じ周波数帯域を非符号化で同時に送信する。
重畳された勾配の受信信号に基づいて、PSはグローバルモデル更新を行う。
OTA FLは通信コストが大幅に削減されているが、チャネル効果やノイズの影響を受けやすい。
受信側で複数のアンテナを使用するとこれらの効果は減少するが、PSから遠く離れたユーザーにとってパスロスは依然として制限要因である。
この問題を改善するために,本論文では,中間サーバ(IS)を用いてMUがより密集した領域にクラスタを形成する無線ベースの階層型FLスキームを提案する。
本方式では, MUとISの通信にOTAクラスタアグリゲーション, およびISからPSへのOTAグローバルアグリゲーションを利用する。
提案アルゴリズムの収束解析を行い、導出した解析式と実験結果の数値評価により、ISsは送信電力を少なくしながら、OTA FL単独よりも高速に収束し、性能が向上することを示した。
また、異なるデータセットとデータ分布を持つ異なる数のクラスタイテレーションを用いて、パフォーマンスに関する結果を検証する。
クラスタアグリゲーションの最良の選択は、MUとクラスタ間のデータ分布に依存すると結論付けている。
関連論文リスト
- Enhancing Federated Learning Convergence with Dynamic Data Queue and Data Entropy-driven Participant Selection [13.825031686864559]
Federated Learning(FL)は、エッジデバイス上でのコラボレーティブモデルトレーニングのための分散アプローチである。
本稿では,サーバ上のデータのグローバルサブセットを作成し,デバイス間で動的に分散することにより,FLの収束を改善する手法を提案する。
提案手法により,MNISTデータセットでは約5%,CIFAR-10では約18%,CIFAR-100では約20%の精度向上を実現した。
論文 参考訳（メタデータ） (2024-10-23T11:47:04Z) - Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳（メタデータ） (2024-02-28T03:27:10Z) - Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。
非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。
我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
論文 参考訳（メタデータ） (2023-12-11T10:44:52Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z) - Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。
本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。
提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文 参考訳（メタデータ） (2023-05-15T22:04:49Z) - FLCC: Efficient Distributed Federated Learning on IoMT over CSMA/CA [0.0]
フェデレートラーニング(FL)は、プライバシー保護のための有望なアプローチとして登場した。
本稿では,アドホックネットワーク上で遠隔医療システムを改善するアプリケーションにおけるFLの性能について検討する。
ネットワーク性能を評価するための指標として,1) 干渉を最小限に抑えながら伝送を成功させる確率,2) 精度と損失の点で分散FLモデルの性能を示す。
論文 参考訳（メタデータ） (2023-03-29T16:36:42Z) - Hierarchical Over-the-Air Federated Edge Learning [26.553214197361626]
モバイルユーザ(MU)の近くにクラスタを形成するための階層的オーバー・ザ・エア・フェデレーション・ラーニング(HOTAFL)を提案する。
我々は,グローバルアグリゲーション前の各クラスタの局所アグリゲーションがOTA FLよりも優れた性能と高速な収束をもたらすことを理論的および実験的に示す。
論文 参考訳（メタデータ） (2021-12-21T13:02:10Z) - Bayesian Federated Learning over Wireless Networks [87.37301441859925]
フェデレーションラーニングは、ローカルデバイスに保存された異種データセットを使用したプライバシー保護と分散トレーニング方法です。
本稿では、スケーラブルBFL (SBFL) と呼ばれる効率的な修正BFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-31T07:32:44Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z) - Federated Learning in the Sky: Joint Power Allocation and Scheduling
with UAV Swarms [98.78553146823829]
無人航空機(UAV)は様々なタスクを実行するために機械学習(ML)を利用する必要がある。
本稿では,UAVスワム内に分散学習(FL)アルゴリズムを実装するための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-19T14:04:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。