論文の概要: Addressing Client Drift in Federated Continual Learning with Adaptive Optimization

• arxiv url: http://arxiv.org/abs/2203.13321v1
• Date: Thu, 24 Mar 2022 20:00:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-28 12:17:09.572730
• Title: Addressing Client Drift in Federated Continual Learning with Adaptive Optimization
• Title（参考訳）: 適応最適化による連立学習におけるクライアントドリフトの対応
• Authors: Yeshwanth Venkatesha, Youngeun Kim, Hyoungseob Park, Yuhang Li, Priyadarshini Panda
• Abstract要約: 本稿では,NetTailorを連続学習候補として活用することにより,FCL(Federated Continual Learning)を実現するための枠組みを概説する。 適応型フェデレーション最適化は,クライアントドリフトの悪影響を低減し,CIFAR100,MiniImagenet,Deathlonベンチマーク上での有効性を示す。
• 参考スコア（独自算出の注目度）: 10.303676184878896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning has been extensively studied and is the prevalent method for privacy-preserving distributed learning in edge devices. Correspondingly, continual learning is an emerging field targeted towards learning multiple tasks sequentially. However, there is little attention towards additional challenges emerging when federated aggregation is performed in a continual learning system. We identify \textit{client drift} as one of the key weaknesses that arise when vanilla federated averaging is applied in such a system, especially since each client can independently have different order of tasks. We outline a framework for performing Federated Continual Learning (FCL) by using NetTailor as a candidate continual learning approach and show the extent of the problem of client drift. We show that adaptive federated optimization can reduce the adverse impact of client drift and showcase its effectiveness on CIFAR100, MiniImagenet, and Decathlon benchmarks. Further, we provide an empirical analysis highlighting the interplay between different hyperparameters such as client and server learning rates, the number of local training iterations, and communication rounds. Finally, we evaluate our framework on useful characteristics of federated learning systems such as scalability, robustness to the skewness in clients' data distribution, and stragglers.
• Abstract（参考訳）: フェデレーション学習は広く研究されており、エッジデバイスにおけるプライバシ保存分散学習の一般的な方法である。 それに応じて、連続学習は、複数のタスクを順次学習することを目的とした新興分野である。 しかし, 連続学習システムにおいて, 連合的な集約を行う場合, 新たな課題にはほとんど注意が払わない。 このようなシステムでバニラフェデレーション平均が適用された場合,特に各クライアントが独立したタスク順序を持つことができるため,その弱点のひとつとして, \textit{client drift} を挙げる。 本稿では,NetTailorを連続学習候補として用いて,FCL(Federated Continual Learning)を実現するためのフレームワークの概要と,クライアントドリフトの問題の程度を示す。 適応型フェデレーション最適化は,クライアントドリフトの悪影響を低減し,CIFAR100,MiniImagenet,Deathlonベンチマーク上での有効性を示す。 さらに、クライアントとサーバの学習率、ローカルトレーニングの回数、通信ラウンドなど、さまざまなハイパーパラメータ間の相互作用を明らかにする経験的分析を提供する。 最後に,拡張性,クライアントのデータ分散のゆがみに対するロバスト性,ストラグラーなど,連合学習システムの有用な特性に関するフレームワークを評価した。

関連論文リスト

• Efficient Federated Learning against Heterogeneous and Non-stationary Client Unavailability [23.466997173249034]
  FedAPMには、(i)標準のFedAvgに対して(1)O$追加のメモリ計算で使用不能な計算を行うための新しい構造が含まれている。 非定常力学であるにもかかわらず、FedAPMは静止点にも収束することを示す。
  論文  参考訳（メタデータ） (2024-09-26T00:38:18Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• When to Trust Aggregated Gradients: Addressing Negative Client Sampling in Federated Learning [41.51682329500003]
  本稿では,各ラウンドにおける集約勾配に対するサーバ学習率を調整するための新しい学習率適応機構を提案する。 我々は、最適なサーバ学習率に肯定的な有意義で堅牢な指標を見つけるために、理論的な推論を行う。
  論文  参考訳（メタデータ） (2023-01-25T03:52:45Z)
• When Do Curricula Work in Federated Learning? [56.88941905240137]
  カリキュラム学習は非IID性を大幅に軽減する。 クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。 本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
  論文  参考訳（メタデータ） (2022-12-24T11:02:35Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• A Fair Federated Learning Framework With Reinforcement Learning [23.675056844328]
  フェデレートラーニング(Federated Learning, FL)は、多くのクライアントが中央サーバの協調の下でモデルを協調的にトレーニングするパラダイムである。 本稿では,クライアントにアグリゲーション重み付けを割り当てるポリシを自動的に学習するPG-FFLという強化学習フレームワークを提案する。 フレームワークの有効性を検証するため、多様なデータセットに対して広範な実験を行う。
  論文  参考訳（メタデータ） (2022-05-26T15:10:16Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
  フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。 本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2020-12-28T19:21:14Z)
• Federated Continual Learning with Weighted Inter-client Transfer [79.93004004545736]
  我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。 FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。 我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
  論文  参考訳（メタデータ） (2020-03-06T13:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。