論文の概要: Accurate Forgetting for Heterogeneous Federated Continual Learning

• arxiv url: http://arxiv.org/abs/2502.14205v1
• Date: Thu, 20 Feb 2025 02:35:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:29:07.871277
• Title: Accurate Forgetting for Heterogeneous Federated Continual Learning
• Title（参考訳）: 不均一な連立学習のための正確な予測
• Authors: Abudukelimu Wuerkaixi, Sen Cui, Jingfeng Zhang, Kunda Yan, Bo Han, Gang Niu, Lei Fang, Changshui Zhang, Masashi Sugiyama,
• Abstract要約: 提案手法は,フェデレーションネットワークにおける従来の知識を選択的に活用する新しい生成再生手法である。 我々は,従来の知識の信頼性を定量化するために,正規化フローモデルに基づく確率的フレームワークを用いる。
• 参考スコア（独自算出の注目度）: 89.08735771893608
• License:
• Abstract: Recent years have witnessed a burgeoning interest in federated learning (FL). However, the contexts in which clients engage in sequential learning remain under-explored. Bridging FL and continual learning (CL) gives rise to a challenging practical problem: federated continual learning (FCL). Existing research in FCL primarily focuses on mitigating the catastrophic forgetting issue of continual learning while collaborating with other clients. We argue that the forgetting phenomena are not invariably detrimental. In this paper, we consider a more practical and challenging FCL setting characterized by potentially unrelated or even antagonistic data/tasks across different clients. In the FL scenario, statistical heterogeneity and data noise among clients may exhibit spurious correlations which result in biased feature learning. While existing CL strategies focus on a complete utilization of previous knowledge, we found that forgetting biased information is beneficial in our study. Therefore, we propose a new concept accurate forgetting (AF) and develop a novel generative-replay method~\method~which selectively utilizes previous knowledge in federated networks. We employ a probabilistic framework based on a normalizing flow model to quantify the credibility of previous knowledge. Comprehensive experiments affirm the superiority of our method over baselines.
• Abstract（参考訳）: 近年、連邦学習(FL)への関心が高まっている。 しかし、クライアントがシーケンシャルな学習に従事している状況はいまだ解明されていない。 FLのブリッジングと継続学習(CL)は、FCL(Federated Continuousal Learning)という難しい実践的な問題を引き起こす。 FCLにおける既存の研究は、主に、他のクライアントと協力している間、継続的な学習の破滅的な忘れる問題を緩和することに焦点を当てている。 忘れる現象は必然的に有害ではないと我々は主張する。 本稿では,異なるクライアントをまたがる潜在的に無関係な,あるいは敵対的なデータ/タスクを特徴とする,より実用的で困難なFCL設定について考察する。 FLシナリオでは、クライアント間の統計的不均一性とデータノイズは、バイアスのある特徴学習をもたらす突発的な相関を示す可能性がある。 既存のCL戦略は,従来の知識の完全活用に重点を置いているが,偏りのある情報を忘れることは,我々の研究にとって有益であることがわかった。 そこで本稿では,新たな概念として,フェデレートネットワークにおける従来の知識を選択的に活用する,新しい生成再生手法である–\method を提案する。 我々は,従来の知識の信頼性を定量化するために,正規化フローモデルに基づく確率的フレームワークを用いる。 総合的な実験により,本手法がベースラインよりも優れていることが確認された。

関連論文リスト

• Flashback: Understanding and Mitigating Forgetting in Federated Learning [7.248285042377168]
  フェデレートラーニング(FL)では、忘れたり、ラウンド全体で知識が失われたりすると、ハマーズアルゴリズムが収束する。 我々は,新たな知識獲得の過程で,忘れをきめ細かく測定し,認識を確実にする指標を導入する。 本稿では,局所的なモデルを正規化し,その知識を効果的に集約する動的蒸留手法を用いたFLアルゴリズムであるFlashbackを提案する。
  論文  参考訳（メタデータ） (2024-02-08T10:52:37Z)
• Federated Learning Can Find Friends That Are Advantageous [14.993730469216546]
  フェデレートラーニング(FL)では、クライアントデータの分散の性質と均一性は、機会と課題の両方を示します。 本稿では,FLトレーニングに参加するクライアントに対して適応的なアグリゲーション重みを割り当てるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-07T17:46:37Z)
• Few-Shot Class-Incremental Learning with Prior Knowledge [94.95569068211195]
  本稿では,事前学習モデルの一般化能力を高めるために,先行知識を用いた学習(LwPK)を提案する。 実験結果から,LwPKは破滅的忘れ込みに対するモデルレジリエンスを効果的に向上させることが示された。
  論文  参考訳（メタデータ） (2024-02-02T08:05:35Z)
• Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
  継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。 本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
  論文  参考訳（メタデータ） (2024-01-29T18:27:52Z)
• Federated Continual Learning via Knowledge Fusion: A Survey [33.74289759536269]
  FCL(Federated Continual Learning)は、フェデレートされた学習環境と継続的な学習環境の両方において、モデル学習に対処する新たなパラダイムである。 FCLの主な目的は、異なるクライアントからの異種知識を融合し、新しいタスクを学習しながら、以前のタスクの知識を保持することである。 本研究は,フェデレーション学習と継続学習をまず重視し,その統合,すなわちFCL,特にFCLを知識融合を通じて議論する。
  論文  参考訳（メタデータ） (2023-12-27T08:47:39Z)
• Continual Learning in the Presence of Spurious Correlation [23.999136417157597]
  標準的な連続学習アルゴリズムは、前も後ろも、あるタスクから別のタスクへバイアスを転送できることを示す。 グループクラスバランスグレーディサンプリング (Group-class Balanced Greedy Sampling, BGS) と呼ばれる,デバイアス対応連続学習のためのプラグイン手法を提案する。
  論文  参考訳（メタデータ） (2023-03-21T14:06:12Z)
• When Do Curricula Work in Federated Learning? [56.88941905240137]
  カリキュラム学習は非IID性を大幅に軽減する。 クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。 本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
  論文  参考訳（メタデータ） (2022-12-24T11:02:35Z)
• Towards Federated Long-Tailed Learning [76.50892783088702]
  データプライバシとクラス不均衡は、多くの機械学習タスクの例外ではなく、標準である。 最近の試みでは、広範にわたるプライベートデータから学習する問題に対処する一方で、長い尾を持つデータから学ぶことが試みられている。 本稿では,プライバシ保護フェデレーション学習(FL)フレームワークのコンテキスト下での長期的データ分散(LT)学習に焦点を当てた。
  論文  参考訳（メタデータ） (2022-06-30T02:34:22Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。