論文の概要: Scalable Hierarchical Over-the-Air Federated Learning

• arxiv url: http://arxiv.org/abs/2211.16162v3
• Date: Thu, 11 Jan 2024 12:47:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-13 04:31:39.622303
• Title: Scalable Hierarchical Over-the-Air Federated Learning
• Title（参考訳）: スケーラブルな階層型空中フェデレーション学習
• Authors: Seyed Mohammad Azimi-Abarghouyi, Viktoria Fodor
• Abstract要約: この研究は、干渉とデバイスデータの不均一性の両方を扱うために設計された新しい2段階学習手法を導入する。 本稿では,提案アルゴリズムの収束を導出するための包括的数学的アプローチを提案する。 干渉とデータの不均一性にもかかわらず、提案アルゴリズムは様々なパラメータに対して高い学習精度を実現する。
• 参考スコア（独自算出の注目度）: 3.8798345704175534
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: When implementing hierarchical federated learning over wireless networks, scalability assurance and the ability to handle both interference and device data heterogeneity are crucial. This work introduces a new two-level learning method designed to address these challenges, along with a scalable over-the-air aggregation scheme for the uplink and a bandwidth-limited broadcast scheme for the downlink that efficiently use a single wireless resource. To provide resistance against data heterogeneity, we employ gradient aggregations. Meanwhile, the impact of uplink and downlink interference is minimized through optimized receiver normalizing factors. We present a comprehensive mathematical approach to derive the convergence bound for the proposed algorithm, applicable to a multi-cluster wireless network encompassing any count of collaborating clusters, and provide special cases and design remarks. As a key step to enable a tractable analysis, we develop a spatial model for the setup by modeling devices as a Poisson cluster process over the edge servers and rigorously quantify uplink and downlink error terms due to the interference. Finally, we show that despite the interference and data heterogeneity, the proposed algorithm not only achieves high learning accuracy for a variety of parameters but also significantly outperforms the conventional hierarchical learning algorithm.
• Abstract（参考訳）: 無線ネットワーク上で階層的なフェデレーション学習を実装する場合、スケーラビリティの保証と干渉とデバイスデータの不均一性の両方を扱う能力が不可欠である。 本研究は,これらの課題に対処するために設計された新しい2レベル学習手法と,アップリンク用のスケーラブルなオーバー・ザ・エアアグリゲーションスキームと,単一の無線リソースを効率的に使用するダウンリンク用の帯域制限されたブロードキャストスキームを導入している。 データの不均一性に対する耐性を提供するため、勾配集計を用いる。 一方、アップリンクおよびダウンリンク干渉の影響は、最適化された受信機正規化係数によって最小化される。 提案アルゴリズムの収束バウンダリを導出する包括的数学的アプローチを提案し, 複数クラスタのクラスタを含むマルチクラスタ無線ネットワークに適用し, 特別な事例と設計上の留意点を提供する。 移動可能な分析を可能にするための重要なステップとして,エッジサーバ上でpoissonクラスタプロセスとしてデバイスをモデル化し,干渉によるアップリンクとダウンリンクのエラー項を厳格に定量化する空間モデルを開発した。 最後に,本アルゴリズムは,干渉やデータの不均一性に拘わらず,様々なパラメータに対する高い学習精度を実現するだけでなく,従来の階層学習アルゴリズムを大きく上回っていることを示す。

関連論文リスト

• Robust Regression with Ensembles Communicating over Noisy Channels [16.344212996721346]
  本稿では,付加雑音チャネルを介して通信する回帰アルゴリズムを実装したデバイス集合の問題について検討する。 本研究では,チャネル内の雑音のパラメータに対するアグリゲーション係数を最適化する手法を開発した。 本研究は,バギングと勾配向上という,最先端のアンサンブル回帰手法に適用した。
  論文  参考訳（メタデータ） (2024-08-20T15:32:47Z)
• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Hierarchical Over-the-Air Federated Learning with Awareness of Interference and Data Heterogeneity [3.8798345704175534]
  本稿では,無線リソースを無線で効率よく利用するためのスケーラブルな伝送方式を提案する。 干渉とデータの不均一性にもかかわらず,提案手法は高い学習精度を達成し,従来の階層型アルゴリズムよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-02T21:43:01Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Multi-agent Reinforcement Learning with Graph Q-Networks for Antenna Tuning [60.94661435297309]
  モバイルネットワークの規模は、手作業による介入や手作業による戦略を使ってアンテナパラメータの最適化を困難にしている。 本研究では,モバイルネットワーク構成をグローバルに最適化するマルチエージェント強化学習アルゴリズムを提案する。 シミュレーション環境におけるアンテナ傾き調整問題とジョイント傾き・電力制御問題に対するアルゴリズムの性能を実証的に示す。
  論文  参考訳（メタデータ） (2023-01-20T17:06:34Z)
• Personalized Decentralized Multi-Task Learning Over Dynamic Communication Graphs [59.96266198512243]
  本稿では,正と負の相関関係を持つタスクに対する分散・フェデレーション学習アルゴリズムを提案する。 本アルゴリズムでは,タスク間の相関関係を自動的に計算し,コミュニケーショングラフを動的に調整して相互に有益なタスクを接続し,互いに悪影響を及ぼす可能性のあるタスクを分離する。 合成ガウスデータセットと大規模セレブ属性(CelebA)データセットについて実験を行った。
  論文  参考訳（メタデータ） (2022-12-21T18:58:24Z)
• Task-Oriented Sensing, Computation, and Communication Integration for Multi-Device Edge AI [108.08079323459822]
  本稿では,AIモデルの分割推論と統合センシング通信(ISAC)を併用した,新しいマルチインテリジェントエッジ人工レイテンシ(AI)システムについて検討する。 推定精度は近似的だが抽出可能な計量、すなわち判別利得を用いて測定する。
  論文  参考訳（メタデータ） (2022-07-03T06:57:07Z)
• Over-the-Air Federated Learning via Second-Order Optimization [37.594140209854906]
  フェデレートラーニング(FL)は、無線ネットワーク上でのタスク指向のデータトラフィックを、限られた無線リソースによって引き起こす可能性がある。 本稿では,通信ラウンドを同時に削減し,低レイテンシなグローバルモデルアグリゲーションを実現するために,空対2次フェデレーション最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-29T12:39:23Z)
• Resource-constrained Federated Edge Learning with Heterogeneous Data: Formulation and Analysis [8.863089484787835]
  ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。 FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
  論文  参考訳（メタデータ） (2021-10-14T17:35:24Z)
• A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
  フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。 本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
  論文  参考訳（メタデータ） (2020-03-18T05:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。