論文の概要: Hierarchical Over-the-Air FedGradNorm

• arxiv url: http://arxiv.org/abs/2212.07414v1
• Date: Wed, 14 Dec 2022 18:54:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 14:43:37.276559
• Title: Hierarchical Over-the-Air FedGradNorm
• Title（参考訳）: 階層的オーバーザエアFedGradNorm
• Authors: Cemil Vahapoglu and Matin Mortaheb and Sennur Ulukus
• Abstract要約: MTL(Multi-task Learning)は、単一の共有ネットワークで複数の関連するタスクを同時に学習する学習パラダイムである。 我々は,HOTA-FedGradNormと呼ばれる動的重み付け戦略を用いた階層的オーバー・ザ・エア(HOTA)PFLを提案する。
• 参考スコア（独自算出の注目度）: 50.756991828015316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning (MTL) is a learning paradigm to learn multiple related tasks simultaneously with a single shared network where each task has a distinct personalized header network for fine-tuning. MTL can be integrated into a federated learning (FL) setting if tasks are distributed across clients and clients have a single shared network, leading to personalized federated learning (PFL). To cope with statistical heterogeneity in the federated setting across clients which can significantly degrade the learning performance, we use a distributed dynamic weighting approach. To perform the communication between the remote parameter server (PS) and the clients efficiently over the noisy channel in a power and bandwidth-limited regime, we utilize over-the-air (OTA) aggregation and hierarchical federated learning (HFL). Thus, we propose hierarchical over-the-air (HOTA) PFL with a dynamic weighting strategy which we call HOTA-FedGradNorm. Our algorithm considers the channel conditions during the dynamic weight selection process. We conduct experiments on a wireless communication system dataset (RadComDynamic). The experimental results demonstrate that the training speed with HOTA-FedGradNorm is faster compared to the algorithms with a naive static equal weighting strategy. In addition, HOTA-FedGradNorm provides robustness against the negative channel effects by compensating for the channel conditions during the dynamic weight selection process.
• Abstract（参考訳）: マルチタスク学習(multi-task learning, mtl)は、複数の関連するタスクを同時に学習するための学習パラダイムである。 mtlは、タスクがクライアント間で分散され、クライアントが単一の共有ネットワークを持つ場合、連合学習(federated learning, pfl)設定に統合することができ、パーソナライズされた連合学習(federated learning, pfl)に繋がる。 学習性能を著しく低下させるクライアント間のフェデレーション設定における統計的不均一性に対処するために,分散動的重み付け手法を用いる。 遠隔パラメータサーバ(PS)とクライアント間の通信を,電力・帯域幅制限下で効率的に行うために,OTA(Over-the-air)アグリゲーションと階層的フェデレーションラーニング(HFL)を利用する。 そこで我々は,HOTA-FedGradNormと呼ばれる動的重み付け戦略を用いた階層的オーバー・ザ・エア(HOTA)PFLを提案する。 本アルゴリズムは, 動的重み選択過程におけるチャネル条件を考察する。 無線通信システムデータセット(RadComDynamic)について実験を行った。 実験結果から,HOTA-FedGradNormによるトレーニング速度は,静的等重み付け方式のアルゴリズムに比べて高速であることがわかった。 さらに、hota-fedgradnormは、動的重み選択過程中にチャネル条件を補償することにより、負のチャネル効果に対するロバスト性を提供する。

関連論文リスト

• FedECADO: A Dynamical System Model of Federated Learning [15.425099636035108]
  フェデレーション学習は分散最適化の力を活用して、別々のクライアント間で統一された機械学習モデルをトレーニングする。 本研究は,フェデレート学習プロセスの動的システム表現にインスパイアされた新しいアルゴリズムであるFedECADOを提案する。 FedProxやFedNovaといった著名な技術と比較して、FedECADOは多くの異種シナリオにおいて高い分類精度を達成する。
  論文  参考訳（メタデータ） (2024-10-13T17:26:43Z)
• Enhancing Spectrum Efficiency in 6G Satellite Networks: A GAIL-Powered Policy Learning via Asynchronous Federated Inverse Reinforcement Learning [67.95280175998792]
  ビームフォーミング,スペクトルアロケーション,リモートユーザ機器(RUE)アソシエイトを最適化するために,GAILを利用した新しいポリシー学習手法を提案する。 手動チューニングなしで報酬関数を自動的に学習するために、逆RL(IRL)を用いる。 提案手法は従来のRL手法よりも優れており,コンバージェンスと報酬値の14.6%の改善が達成されている。
  論文  参考訳（メタデータ） (2024-09-27T13:05:02Z)
• Sequential Federated Learning in Hierarchical Architecture on Non-IID Datasets [25.010661914466354]
  実連合学習(FL)システムでは、クライアントとパラメータ(PS)の間でモデルパラメータを渡す際の通信オーバーヘッドがボトルネックとなることが多い。 そこで本研究では,SFL(Sequence FL) HFLを初めて提案し,各サーバに隣接する2つのES間でデータを渡すことで,中央PSを除去し,モデルを完成させることを可能にする。
  論文  参考訳（メタデータ） (2024-08-19T07:43:35Z)
• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Asynchronous Multi-Model Dynamic Federated Learning over Wireless Networks: Theory, Modeling, and Optimization [20.741776617129208]
  分散機械学習(ML)の鍵となる技術として、フェデレートラーニング(FL)が登場した。 まず、システムパラメータが学習性能に与える影響を捉えるために、長方形のスケジューリングステップと関数を定式化する。 我々の分析は、デバイストレーニング変数と非同期スケジューリング決定の協調的影響に光を当てている。
  論文  参考訳（メタデータ） (2023-05-22T21:39:38Z)
• Scheduling and Aggregation Design for Asynchronous Federated Learning over Wireless Networks [56.91063444859008]
  Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。 FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。 年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-14T17:33:01Z)
• FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task Learning [50.756991828015316]
  マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。 本稿では,異なるタスク間の学習速度のバランスをとるために,動的重み付け法を用いてノルムの正規化を行うFedGradNormを提案する。
  論文  参考訳（メタデータ） (2022-03-24T17:43:12Z)
• Scheduling Policy and Power Allocation for Federated Learning in NOMA Based MEC [21.267954799102874]
  Federated Learning(FL)は、データ分散を維持しながらモデルを集中的にトレーニングできる、高度に追求された機械学習技術である。 重み付き和データレートを最大化するために、非直交多重アクセス(NOMA)設定を用いた新しいスケジューリングポリシーと電力割当方式を提案する。 シミュレーションの結果,提案手法は,NOMAベースの無線ネットワークにおいて高いFLテスト精度を実現するのに有効であることがわかった。
  論文  参考訳（メタデータ） (2020-06-21T23:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。