Fugu-MT 論文翻訳(概要): Hierarchical Over-the-Air FedGradNorm

論文の概要: Hierarchical Over-the-Air FedGradNorm

arxiv url: http://arxiv.org/abs/2212.07414v1
Date: Wed, 14 Dec 2022 18:54:46 GMT
ステータス: 処理完了
システム内更新日: 2022-12-15 14:43:37.276559
Title: Hierarchical Over-the-Air FedGradNorm
Title（参考訳）: 階層的オーバーザエアFedGradNorm
Authors: Cemil Vahapoglu and Matin Mortaheb and Sennur Ulukus
Abstract要約: MTL(Multi-task Learning)は、単一の共有ネットワークで複数の関連するタスクを同時に学習する学習パラダイムである。我々は,HOTA-FedGradNormと呼ばれる動的重み付け戦略を用いた階層的オーバー・ザ・エア(HOTA)PFLを提案する。
参考スコア（独自算出の注目度）: 50.756991828015316
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multi-task learning (MTL) is a learning paradigm to learn multiple related tasks simultaneously with a single shared network where each task has a distinct personalized header network for fine-tuning. MTL can be integrated into a federated learning (FL) setting if tasks are distributed across clients and clients have a single shared network, leading to personalized federated learning (PFL). To cope with statistical heterogeneity in the federated setting across clients which can significantly degrade the learning performance, we use a distributed dynamic weighting approach. To perform the communication between the remote parameter server (PS) and the clients efficiently over the noisy channel in a power and bandwidth-limited regime, we utilize over-the-air (OTA) aggregation and hierarchical federated learning (HFL). Thus, we propose hierarchical over-the-air (HOTA) PFL with a dynamic weighting strategy which we call HOTA-FedGradNorm. Our algorithm considers the channel conditions during the dynamic weight selection process. We conduct experiments on a wireless communication system dataset (RadComDynamic). The experimental results demonstrate that the training speed with HOTA-FedGradNorm is faster compared to the algorithms with a naive static equal weighting strategy. In addition, HOTA-FedGradNorm provides robustness against the negative channel effects by compensating for the channel conditions during the dynamic weight selection process.
Abstract（参考訳）: マルチタスク学習(multi-task learning, mtl)は、複数の関連するタスクを同時に学習するための学習パラダイムである。 mtlは、タスクがクライアント間で分散され、クライアントが単一の共有ネットワークを持つ場合、連合学習(federated learning, pfl)設定に統合することができ、パーソナライズされた連合学習(federated learning, pfl)に繋がる。学習性能を著しく低下させるクライアント間のフェデレーション設定における統計的不均一性に対処するために,分散動的重み付け手法を用いる。遠隔パラメータサーバ(PS)とクライアント間の通信を,電力・帯域幅制限下で効率的に行うために,OTA(Over-the-air)アグリゲーションと階層的フェデレーションラーニング(HFL)を利用する。そこで我々は,HOTA-FedGradNormと呼ばれる動的重み付け戦略を用いた階層的オーバー・ザ・エア(HOTA)PFLを提案する。本アルゴリズムは, 動的重み選択過程におけるチャネル条件を考察する。無線通信システムデータセット(RadComDynamic)について実験を行った。実験結果から,HOTA-FedGradNormによるトレーニング速度は,静的等重み付け方式のアルゴリズムに比べて高速であることがわかった。さらに、hota-fedgradnormは、動的重み選択過程中にチャネル条件を補償することにより、負のチャネル効果に対するロバスト性を提供する。

関連論文リスト

Communication-Efficient Federated Learning with Adaptive Compression under Dynamic Bandwidth [6.300376113680886]
フェデレーション学習は、ローカルデータをサーバに直接提供せずにモデルをトレーニングすることができる。近年の研究者は、主にモデル圧縮により、連合学習のコミュニケーション効率を達成している。本稿では,AdapComFLアルゴリズムの性能を示し,既存のアルゴリズムと比較する。
論文参考訳（メタデータ） (2024-05-06T08:00:43Z)
Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文参考訳（メタデータ） (2024-02-28T03:27:10Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Asynchronous Multi-Model Dynamic Federated Learning over Wireless Networks: Theory, Modeling, and Optimization [20.741776617129208]
分散機械学習(ML)の鍵となる技術として、フェデレートラーニング(FL)が登場した。まず、システムパラメータが学習性能に与える影響を捉えるために、長方形のスケジューリングステップと関数を定式化する。我々の分析は、デバイストレーニング変数と非同期スケジューリング決定の協調的影響に光を当てている。
論文参考訳（メタデータ） (2023-05-22T21:39:38Z)
FLCC: Efficient Distributed Federated Learning on IoMT over CSMA/CA [0.0]
フェデレートラーニング(FL)は、プライバシー保護のための有望なアプローチとして登場した。本稿では,アドホックネットワーク上で遠隔医療システムを改善するアプリケーションにおけるFLの性能について検討する。ネットワーク性能を評価するための指標として,1) 干渉を最小限に抑えながら伝送を成功させる確率,2) 精度と損失の点で分散FLモデルの性能を示す。
論文参考訳（メタデータ） (2023-03-29T16:36:42Z)
Scheduling and Aggregation Design for Asynchronous Federated Learning over Wireless Networks [56.91063444859008]
Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。 FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
論文参考訳（メタデータ） (2022-12-14T17:33:01Z)
FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task Learning [50.756991828015316]
マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。本稿では,異なるタスク間の学習速度のバランスをとるために,動的重み付け法を用いてノルムの正規化を行うFedGradNormを提案する。
論文参考訳（メタデータ） (2022-03-24T17:43:12Z)
Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
論文参考訳（メタデータ） (2021-12-18T02:26:38Z)
Scheduling Policy and Power Allocation for Federated Learning in NOMA Based MEC [21.267954799102874]
Federated Learning(FL)は、データ分散を維持しながらモデルを集中的にトレーニングできる、高度に追求された機械学習技術である。重み付き和データレートを最大化するために、非直交多重アクセス(NOMA)設定を用いた新しいスケジューリングポリシーと電力割当方式を提案する。シミュレーションの結果,提案手法は,NOMAベースの無線ネットワークにおいて高いFLテスト精度を実現するのに有効であることがわかった。
論文参考訳（メタデータ） (2020-06-21T23:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。