論文の概要: Multi-Task Federated Learning for Personalised Deep Neural Networks in Edge Computing

• arxiv url: http://arxiv.org/abs/2007.09236v3
• Date: Thu, 22 Jul 2021 09:42:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 13:23:16.054204
• Title: Multi-Task Federated Learning for Personalised Deep Neural Networks in Edge Computing
• Title（参考訳）: エッジコンピューティングにおけるパーソナライズされたディープニューラルネットワークのためのマルチタスクフェデレーション学習
• Authors: Jed Mills, Jia Hu, Geyong Min
• Abstract要約: Federated Learning(FL)は、モバイルデバイス上でDeep Neural Networks(DNN)を協調的にトレーニングする、新たなアプローチである。 従来の研究では、非独立分散(非IID)ユーザデータがFLアルゴリズムの収束速度を損なうことが示されている。 本稿では,非フェデレーションバッチ-Normalization層をフェデレーションDNNに導入するマルチタスクFL(MTFL)アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 23.447883712141422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) is an emerging approach for collaboratively training Deep Neural Networks (DNNs) on mobile devices, without private user data leaving the devices. Previous works have shown that non-Independent and Identically Distributed (non-IID) user data harms the convergence speed of the FL algorithms. Furthermore, most existing work on FL measures global-model accuracy, but in many cases, such as user content-recommendation, improving individual User model Accuracy (UA) is the real objective. To address these issues, we propose a Multi-Task FL (MTFL) algorithm that introduces non-federated Batch-Normalization (BN) layers into the federated DNN. MTFL benefits UA and convergence speed by allowing users to train models personalised to their own data. MTFL is compatible with popular iterative FL optimisation algorithms such as Federated Averaging (FedAvg), and we show empirically that a distributed form of Adam optimisation (FedAvg-Adam) benefits convergence speed even further when used as the optimisation strategy within MTFL. Experiments using MNIST and CIFAR10 demonstrate that MTFL is able to significantly reduce the number of rounds required to reach a target UA, by up to $5\times$ when using existing FL optimisation strategies, and with a further $3\times$ improvement when using FedAvg-Adam. We compare MTFL to competing personalised FL algorithms, showing that it is able to achieve the best UA for MNIST and CIFAR10 in all considered scenarios. Finally, we evaluate MTFL with FedAvg-Adam on an edge-computing testbed, showing that its convergence and UA benefits outweigh its overhead.
• Abstract（参考訳）: Federated Learning(FL)は、モバイルデバイス上のDeep Neural Networks(DNN)を、プライベートなユーザデータがデバイスを離れることなく、共同でトレーニングする、新たなアプローチである。 従来の研究では、非独立分散(非IID)ユーザデータがFLアルゴリズムの収束速度を損なうことが示されている。 さらに、FLに関する既存の研究の多くは、グローバルモデル精度を測っているが、ユーザコンテンツ推奨、個々のユーザモデル精度(UA)の改善など、多くの場合は、真の目的である。 これらの問題に対処するため,フェデレーションDNNに非フェデレーションBatch-Normalization(BN)層を導入するマルチタスクFL(MTFL)アルゴリズムを提案する。 MTFLは、ユーザが自身のデータに個人化されたモデルをトレーニングできるようにすることで、UAと収束速度を向上する。 MTFLは、フェデレート平均化(FedAvg)などの一般的なFL最適化アルゴリズムと互換性があり、MTFL内の最適化戦略として使用する場合、Adam最適化(FedAvg-Adam)の分散形式が収束速度を更に向上させることを示す。 mnistとcifar10を用いた実験では、mtflは目標のuaに到達するのに必要なラウンド数を大幅に削減でき、既存のfl最適化戦略を使用する場合に最大$5\times$、fedavg-adamを使用する場合には$3\times$の改善が示されている。 MTFLと競合するパーソナライズされたFLアルゴリズムを比較し、すべてのシナリオにおいてMNISTとCIFAR10の最高のUAを達成することができることを示す。 最後に、エッジ計算テストベッド上でFedAvg-Adamを用いてMTFLを評価し、その収束とUAの利点がオーバーヘッドを上回ることを示した。

関連論文リスト

• Joint Energy and Latency Optimization in Federated Learning over Cell-Free Massive MIMO Networks [36.6868658064971]
  Federated Learning(FL)は、ユーザが生のデータセットではなくサーバとFLモデルを交換する分散学習パラダイムである。 セルフリーの大規模マルチインプット多重出力(CFmMIMO)はFLを実装する上で有望なアーキテクチャである。 本稿では、各ユーザの電力が他のユーザのエネルギーとレイテンシに与える影響を考慮し、FLにおけるCFmMIMO上のアップリンク電力割り当て方式を提案する。
  論文  参考訳（メタデータ） (2024-04-28T19:24:58Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Joint Age-based Client Selection and Resource Allocation for Communication-Efficient Federated Learning over NOMA Networks [8.030674576024952]
  FL(Federated Learning)では、分散クライアントは、自身のトレーニングデータをローカルに保持しながら、共有グローバルモデルを共同でトレーニングすることができる。 本稿では,非直交多重アクセス(NOMA)を利用した無線ネットワーク上でのFLにおける各ラウンドの総時間消費を最小化することを目的とした,クライアント選択とリソース割り当ての協調最適化問題を定式化する。 さらに、各ラウンドで選択されていないクライアントのFLモデルを予測し、FL性能をさらに向上するために、サーバサイド人工知能ニューラルネットワーク(ANN)を提案する。
  論文  参考訳（メタデータ） (2023-04-18T13:58:16Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Sparse Federated Learning with Hierarchical Personalized Models [24.763028713043468]
  フェデレートラーニング(FL)は、ユーザのプライベートデータを収集することなく、プライバシセーフで信頼性の高い協調トレーニングを実現する。 階層型パーソナライズされたモデルを用いたスパースフェデレーション学習(sFedHP)という,モロー包絡に基づく階層型近位写像を用いたパーソナライズされたFLアルゴリズムを提案する。 また、連続的に微分可能な近似L1ノルムをスパース制約として使用して通信コストを低減させる。
  論文  参考訳（メタデータ） (2022-03-25T09:06:42Z)
• Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
  フェデレートラーニング(FL)は異種分散データに対して脆弱である。 この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。 既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。 我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
  論文  参考訳（メタデータ） (2022-01-27T08:43:11Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)
• FedFog: Network-Aware Optimization of Federated Learning over Wireless Fog-Cloud Systems [40.421253127588244]
  フェデレートラーニング(FL)は、訓練されたローカルパラメータを定期的に集約することで、複数のエッジユーザにわたって大規模な分散機械学習タスクを実行することができる。 まず,フォグサーバにおける勾配パラメータの局所的な集約と,クラウドでのグローバルトレーニング更新を行うための効率的なFLアルゴリズム(FedFog)を提案する。
  論文  参考訳（メタデータ） (2021-07-04T08:03:15Z)
• Convergence Time Optimization for Federated Learning over Wireless Networks [160.82696473996566]
  無線ユーザが(ローカル収集データを用いて訓練した)ローカルFLモデルを基地局(BS)に送信する無線ネットワークを考える。 中央コントローラとして機能するBSは、受信したローカルFLモデルを使用してグローバルFLモデルを生成し、それを全ユーザにブロードキャストする。 無線ネットワークにおけるリソースブロック(RB)の数が限られているため、ローカルFLモデルパラメータをBSに送信するために選択できるのは一部のユーザのみである。 各ユーザが独自のトレーニングデータサンプルを持っているため、BSは、収束したグローバルFLモデルを生成するために、すべてのローカルユーザFLモデルを含むことを好んでいる。
  論文  参考訳（メタデータ） (2020-01-22T01:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。