Fugu-MT 論文翻訳(概要): FPPL: An Efficient and Non-IID Robust Federated Continual Learning Framework

論文の概要: FPPL: An Efficient and Non-IID Robust Federated Continual Learning Framework

arxiv url: http://arxiv.org/abs/2411.01904v1
Date: Mon, 04 Nov 2024 09:15:21 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-05 14:50:01.359771
Title: FPPL: An Efficient and Non-IID Robust Federated Continual Learning Framework
Title（参考訳）: FPPL: 効率的で非IIDロバストな連続学習フレームワーク
Authors: Yuchen He, Chuyun Shen, Xiangfeng Wang, Bo Jin,
Abstract要約: フェデレーション型連続学習(FCL)は、分散化されたフェデレーション型学習環境において、シーケンシャルなデータストリームから学習することを目的としている。既存のFCLメソッドは通常、典型的なリハーサル機構を使用しており、これはプライバシー侵害や追加の面倒なストレージや計算負荷をもたらす可能性がある。本研究では,FPPL(Federated Prototype-Augmented Prompt Learning)と呼ばれる,効率的で非IIDな連立型連続学習フレームワークを提案する。
参考スコア（独自算出の注目度）: 6.446904116575293
License:
Abstract: Federated continual learning (FCL) aims to learn from sequential data stream in the decentralized federated learning setting, while simultaneously mitigating the catastrophic forgetting issue in classical continual learning. Existing FCL methods usually employ typical rehearsal mechanisms, which could result in privacy violations or additional onerous storage and computational burdens. In this work, an efficient and non-IID robust federated continual learning framework, called Federated Prototype-Augmented Prompt Learning (FPPL), is proposed. The FPPL can collaboratively learn lightweight prompts augmented by prototypes without rehearsal. On the client side, a fusion function is employed to fully leverage the knowledge contained in task-specific prompts for alleviating catastrophic forgetting. Additionally, global prototypes aggregated from the server are used to obtain unified representation through contrastive learning, mitigating the impact of non-IID-derived data heterogeneity. On the server side, locally uploaded prototypes are utilized to perform debiasing on the classifier, further alleviating the performance degradation caused by both non-IID and catastrophic forgetting. Empirical evaluations demonstrate the effectiveness of FPPL, achieving notable performance with an efficient design while remaining robust to diverse non-IID degrees. Code is available at: https://github.com/ycheoo/FPPL.
Abstract（参考訳）: フェデレーション型連続学習(FCL)は、分散化されたフェデレーション型学習環境におけるシーケンシャルなデータストリームから学習することを目的としており、同時に古典的連続学習における破滅的な忘れの問題を緩和することを目的としている。既存のFCLメソッドは通常、典型的なリハーサル機構を使用しており、これはプライバシー侵害や追加の面倒なストレージや計算負荷をもたらす可能性がある。本研究では,FPPL(Federated Prototype-Augmented Prompt Learning)と呼ばれる,効率的で非IIDな連立型連続学習フレームワークを提案する。 FPPLは、プロトタイプによって強化された軽量プロンプトをリハーサルなしで協調的に学習することができる。クライアント側では、融合関数を用いてタスク固有のプロンプトに含まれる知識をフル活用し、破滅的な忘れを緩和する。さらに、サーバから集約されたグローバルプロトタイプは、対照的な学習を通じて統一された表現を得るために使用され、非IID由来のデータの不均一性の影響を緩和する。サーバ側では、ローカルにアップロードされたプロトタイプを用いて分類器のデバイアス処理を行い、さらに非IIDおよび破滅的忘れ込みによる性能劣化を軽減する。実験的な評価は、FPPLの有効性を示し、多種多様な非IID度に頑健でありながら、効率的な設計で顕著な性能を実現している。コードは、https://github.com/ycheoo/FPPL.comで入手できる。

関連論文リスト

FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-08-15T16:45:16Z)
FedRFQ: Prototype-Based Federated Learning with Reduced Redundancy, Minimal Failure, and Enhanced Quality [41.88338945821504]
FedRFQはプロトタイプベースのフェデレーション学習アプローチであり、冗長性を低減し、失敗を最小限に抑え、下位品質を改善することを目的としている。本稿では,BFT (Byzantine Fault Tolerance) 検出可能な集約アルゴリズムであるBFT-detectを導入する。
論文参考訳（メタデータ） (2024-01-15T09:50:27Z)
PILoRA: Prototype Guided Incremental LoRA for Federated Class-Incremental Learning [41.984652077669104]
標準データセットによる実験結果から,本手法は最先端の手法よりも優れていたことが示唆された。本手法は, 異なる設定, データの均一度において, 強靭性と優越性を示す。
論文参考訳（メタデータ） (2024-01-04T06:46:19Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文参考訳（メタデータ） (2023-03-01T06:16:15Z)
Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
論文参考訳（メタデータ） (2023-02-19T17:42:35Z)
Hyperspherical Consistency Regularization [45.00073340936437]
我々は,自己教師あり学習と教師あり学習の関係について検討し,自己教師あり学習がデータ効率のよい深層学習にどのように役立つかを検討する。超球面整合正則化(HCR)を提案し,特徴依存情報を用いた分類器の正規化を行い,ラベルからのバイアスを回避する。
論文参考訳（メタデータ） (2022-06-02T02:41:13Z)
FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation [54.2658887073461]
非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。 FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
論文参考訳（メタデータ） (2022-04-30T06:17:36Z)
FedProc: Prototypical Contrastive Federated Learning on Non-IID data [24.1906520295278]
フェデレーション学習は、複数のクライアントが協力してディープラーニングモデルをトレーニングし、トレーニングデータをローカルに保持することを可能にする。我々はFedProc: 原型的コントラスト型フェデレーション学習を提案する。 FedProcは計算コストを許容して精度を$1.6%sim7.9%向上することを示す。
論文参考訳（メタデータ） (2021-09-25T04:32:23Z)
Towards Heterogeneous Clients with Elastic Federated Learning [45.2715985913761]
フェデレーション学習では、エッジプロセッサやデータウェアハウスなどのデバイスやデータサイロ上で、データをローカルに保ちながら、マシンラーニングモデルをトレーニングする。本稿では,不均一性に対処する非バイアスアルゴリズムであるElastic Federated Learning (EFL)を提案する。上流と下流の両方の通信を圧縮する効率的かつ効率的なアルゴリズムである。
論文参考訳（メタデータ） (2021-06-17T12:30:40Z)
ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
論文参考訳（メタデータ） (2021-01-02T09:04:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。