論文の概要: Multi-task Federated Edge Learning (MtFEEL) in Wireless Networks

• arxiv url: http://arxiv.org/abs/2108.02517v1
• Date: Thu, 5 Aug 2021 10:54:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-06 19:23:53.413564
• Title: Multi-task Federated Edge Learning (MtFEEL) in Wireless Networks
• Title（参考訳）: 無線ネットワークにおけるマルチタスクフェデレーションエッジ学習(MtFEEL)
• Authors: Sawan Singh Mahara, Shruti M., B. N. Bharath
• Abstract要約: フェデレートラーニング(FL)は、エッジデバイス間の分散機械学習を扱うための有望な技術として進化してきた。 保証付き無線環境でのパーソナライズドラーニングのための通信効率の良いFLアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 1.9250873974729816
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) has evolved as a promising technique to handle distributed machine learning across edge devices. A single neural network (NN) that optimises a global objective is generally learned in most work in FL, which could be suboptimal for edge devices. Although works finding a NN personalised for edge device specific tasks exist, they lack generalisation and/or convergence guarantees. In this paper, a novel communication efficient FL algorithm for personalised learning in a wireless setting with guarantees is presented. The algorithm relies on finding a ``better`` empirical estimate of losses at each device, using a weighted average of the losses across different devices. It is devised from a Probably Approximately Correct (PAC) bound on the true loss in terms of the proposed empirical loss and is bounded by (i) the Rademacher complexity, (ii) the discrepancy, (iii) and a penalty term. Using a signed gradient feedback to find a personalised NN at each device, it is also proven to converge in a Rayleigh flat fading (in the uplink) channel, at a rate of the order max{1/SNR,1/sqrt(T)} Experimental results show that the proposed algorithm outperforms locally trained devices as well as the conventionally used FedAvg and FedSGD algorithms under practical SNR regimes.
• Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、エッジデバイス間の分散機械学習を扱う有望なテクニックとして進化した。 グローバルな目的を最適化する単一のニューラルネットワーク(NN)は、一般的に、エッジデバイスに最適化される可能性のあるFLのほとんどの研究で学習されている。 エッジデバイス固有のタスクにパーソナライズされたNNを見つける作業は存在するが、一般化や収束保証がない。 本稿では,保証付き無線環境での個人化学習のための新しいコミュニケーション効率FLアルゴリズムを提案する。 このアルゴリズムは、異なるデバイス間での損失の重み付け平均を使用して、各デバイスにおける損失の実証的な推定を見つけることに依存する。 それは、提案された経験的損失の観点で真の損失に束縛されたおそらくほぼ正しい(pac)から考案され、(i)ラデマッハ複雑性、(ii)不一致、(iii)ペナルティ項によって境界付けられる。 署名された勾配フィードバックを用いて各デバイスでパーソナライズされたNNを見つけることで、(アップリンクの)レイリー平らなフェージング(英語版)チャネルに収束することが実証され、実験結果により、提案アルゴリズムは実効SNR体制下で使用されるFedAvgおよびFedSGDアルゴリズムと同様に、局所的に訓練されたデバイスよりも優れていることが示された。

関連論文リスト

• Rendering Wireless Environments Useful for Gradient Estimators: A Zero-Order Stochastic Federated Learning Method [14.986031916712108]
  クロスデバイスフェデレーション学習(FL)は成長する機械学習フレームワークであり、複数のエッジデバイスが協力して、生データを公開せずにモデルをトレーニングする。 学習アルゴリズム自体において、その影響を解析する代わりに、無線チャネルを利用する方法を示す。
  論文  参考訳（メタデータ） (2024-01-30T21:46:09Z)
• FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
  ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。 我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
  論文  参考訳（メタデータ） (2023-10-04T21:11:40Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• A Communication-Efficient Distributed Gradient Clipping Algorithm for Training Deep Neural Networks [11.461878019780597]
  グラディエントDescentは、ディープニューラルネットワークにおいてゆっくりと収束する。 勾配クリッピング方式が並列スピードアップを楽しむために複数のマシンを活用できるかどうかは謎のままである。
  論文  参考訳（メタデータ） (2022-05-10T16:55:33Z)
• CoCoFL: Communication- and Computation-Aware Federated Learning via Partial NN Freezing and Quantization [3.219812767529503]
  我々は,すべてのデバイス上でNN構造を完全に維持する新しいFL手法であるCoCoFLを提案する。 CoCoFLはデバイス上の利用可能なリソースを効率的に利用し、制約されたデバイスがFLシステムに多大な貢献をすることができる。
  論文  参考訳（メタデータ） (2022-03-10T16:45:05Z)
• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• Communication-Efficient Stochastic Zeroth-Order Optimization for Federated Learning [28.65635956111857]
  フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを共有せずに、グローバルモデルを協調的にトレーニングすることを可能にする。 FLの訓練効率を向上させるため,一階計算から一階法まで,様々なアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2022-01-24T08:56:06Z)
• Fast Federated Learning in the Presence of Arbitrary Device Unavailability [26.368873771739715]
  Federated Learning (FL)は異種デバイスをコーディネートして、ユーザのプライバシを維持しながら共有モデルを協調的にトレーニングする。 ひとつの課題は、デバイスが中央サーバ以外のトレーニングプロセスから外れることだ。 我々はこの問題を解決するためにIm Federated A patientaging (MIFA)を提案する。
  論文  参考訳（メタデータ） (2021-06-08T07:46:31Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
  フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。 本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
  論文  参考訳（メタデータ） (2020-03-18T05:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。