論文の概要: FedMeS: Personalized Federated Continual Learning Leveraging Local Memory

• arxiv url: http://arxiv.org/abs/2404.12710v1
• Date: Fri, 19 Apr 2024 08:36:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-22 15:45:58.773494
• Title: FedMeS: Personalized Federated Continual Learning Leveraging Local Memory
• Title（参考訳）: FedMeS: ローカルメモリを活用する個人化フェデレーション継続的学習
• Authors: Jin Xie, Chenqing Zhu, Songze Li,
• Abstract要約: 我々は、クライアントのドリフトと忘れることの課題に対処するため、フェデレーションメモリ強化FedMeSを提案する。 FedMeSは、すべてのタスクからのサンプルに同じ推論プロセスを適用して、優れたパフォーマンスを実現するように、タスク公開として設計されている。 データセット、タスク分布、クライアント番号の様々な組み合わせに対して、平均的な正確さと忘れる速度で、すべてのベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 14.247044023617084
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We focus on the problem of Personalized Federated Continual Learning (PFCL): a group of distributed clients, each with a sequence of local tasks on arbitrary data distributions, collaborate through a central server to train a personalized model at each client, with the model expected to achieve good performance on all local tasks. We propose a novel PFCL framework called Federated Memory Strengthening FedMeS to address the challenges of client drift and catastrophic forgetting. In FedMeS, each client stores samples from previous tasks using a small amount of local memory, and leverages this information to both 1) calibrate gradient updates in training process; and 2) perform KNN-based Gaussian inference to facilitate personalization. FedMeS is designed to be task-oblivious, such that the same inference process is applied to samples from all tasks to achieve good performance. FedMeS is analyzed theoretically and evaluated experimentally. It is shown to outperform all baselines in average accuracy and forgetting rate, over various combinations of datasets, task distributions, and client numbers.
• Abstract（参考訳）: 我々は、パーソナライズド・フェデレートされた連続学習(PFCL: Personalized Federated Continual Learning: PFCL): 分散クライアントのグループで、それぞれに任意のデータ分散上のローカルタスクのシーケンスがあり、中央サーバを介して協調して各クライアントでパーソナライズされたモデルをトレーニングし、すべてのローカルタスクで優れたパフォーマンスを達成することが期待されている。 本稿では,Federated Memory Strengthening FedMeSという新しいPFCLフレームワークを提案する。 FedMeSでは、各クライアントは、少量のローカルメモリを使用して、前のタスクからのサンプルを格納し、この情報を両方に活用する。 1)訓練過程における勾配更新の校正,及び 2) パーソナライズを容易にするためにKNNに基づくガウス推論を行う。 FedMeSは、すべてのタスクからのサンプルに同じ推論プロセスを適用して、優れたパフォーマンスを実現するように、タスク公開として設計されている。 FedMeSは理論的に分析され、実験的に評価される。 データセット、タスク分布、クライアント番号の様々な組み合わせに対して、平均的な正確さと忘れる速度で、すべてのベースラインを上回ります。

関連論文リスト

• Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
  我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。 具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。 我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
  論文  参考訳（メタデータ） (2023-07-05T11:58:58Z)
• FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
  フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。 既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。 フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
  論文  参考訳（メタデータ） (2023-06-25T13:38:51Z)
• FLIS: Clustered Federated Learning via Inference Similarity for Non-IID Data Distribution [7.924081556869144]
  本稿では,クライアント集団をクラスタにグループ化し,共同でトレーニング可能なデータ配信を行う新しいアルゴリズムFLISを提案する。 CIFAR-100/10, SVHN, FMNISTデータセット上の最先端ベンチマークに対するFLISの利点を示す実験結果を示す。
  論文  参考訳（メタデータ） (2022-08-20T22:10:48Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task Learning [50.756991828015316]
  マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。 本稿では,異なるタスク間の学習速度のバランスをとるために,動的重み付け法を用いてノルムの正規化を行うFedGradNormを提案する。
  論文  参考訳（メタデータ） (2022-03-24T17:43:12Z)
• FedSoft: Soft Clustered Federated Learning with Proximal Local Updating [24.723611247602847]
  FedSoftは、ローカルパーソナライズされたモデルと高品質なクラスタモデルの両方を訓練する。 我々は、FedSoftがソース分布の類似性を効果的に活用し、パーソナライズされたモデルとクラスタモデルをうまく学習していることを示す。
  論文  参考訳（メタデータ） (2021-12-11T19:26:30Z)
• Subspace Learning for Personalized Federated Optimization [7.475183117508927]
  本稿では,AIシステムにおけるパーソナライズされた学習の問題に対処する手法を提案する。 提案手法は、パーソナライズされたクライアント評価設定と見当たらないクライアント評価設定の両方において、一貫した利得が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-16T00:03:23Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)
• Federated Noisy Client Learning [105.00756772827066]
  フェデレートラーニング(FL)は、複数のローカルクライアントに依存する共有グローバルモデルを協調的に集約する。 標準FLメソッドは、集約されたモデル全体のパフォーマンスを損なううるノイズの多いクライアントの問題を無視します。 本稿では,Fed-NCL (Federated Noisy Client Learning) を提案する。
  論文  参考訳（メタデータ） (2021-06-24T11:09:17Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。