論文の概要: AFCL: Analytic Federated Continual Learning for Spatio-Temporal Invariance of Non-IID Data

• arxiv url: http://arxiv.org/abs/2505.12245v1
• Date: Sun, 18 May 2025 05:55:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.11589
• Title: AFCL: Analytic Federated Continual Learning for Spatio-Temporal Invariance of Non-IID Data
• Title（参考訳）: AFCL:非IIDデータの時空間不変性に対する解析的フェデレーション連続学習
• Authors: Jianheng Tang, Huiping Zhuang, Jingyu He, Run He, Jingchao Wang, Kejia Fan, Anfeng Liu, Tian Wang, Leye Wang, Zhanxing Zhu, Shanghang Zhang, Houbing Herbert Song, Yunhuai Liu,
• Abstract要約: Federated Continual Learning (FCL)は、分散クライアントがオンラインタスクストリームからグローバルモデルを協調的にトレーニングすることを可能にする。 FCL法は,分散クライアント間の空間的データ不均一性とオンラインタスク間の時間的データ不均一性の両方の課題に直面している。 凍結抽出特徴量から解析的解(すなわち閉形式)を導出することにより,解析的フェデレート連続学習(AFCL)と呼ばれる勾配のない手法を提案する。
• 参考スコア（独自算出の注目度）: 45.66391633579935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Continual Learning (FCL) enables distributed clients to collaboratively train a global model from online task streams in dynamic real-world scenarios. However, existing FCL methods face challenges of both spatial data heterogeneity among distributed clients and temporal data heterogeneity across online tasks. Such data heterogeneity significantly degrades the model performance with severe spatial-temporal catastrophic forgetting of local and past knowledge. In this paper, we identify that the root cause of this issue lies in the inherent vulnerability and sensitivity of gradients to non-IID data. To fundamentally address this issue, we propose a gradient-free method, named Analytic Federated Continual Learning (AFCL), by deriving analytical (i.e., closed-form) solutions from frozen extracted features. In local training, our AFCL enables single-epoch learning with only a lightweight forward-propagation process for each client. In global aggregation, the server can recursively and efficiently update the global model with single-round aggregation. Theoretical analyses validate that our AFCL achieves spatio-temporal invariance of non-IID data. This ideal property implies that, regardless of how heterogeneous the data are distributed across local clients and online tasks, the aggregated model of our AFCL remains invariant and identical to that of centralized joint learning. Extensive experiments show the consistent superiority of our AFCL over state-of-the-art baselines across various benchmark datasets and settings.
• Abstract（参考訳）: Federated Continual Learning (FCL)により、分散クライアントは、動的な実世界のシナリオにおいて、オンラインタスクストリームからグローバルモデルを協調的にトレーニングすることができる。 しかし、既存のFCL手法は、分散クライアント間の空間的データ不均一性とオンラインタスク間の時間的データ不均一性の両方の課題に直面している。 このようなデータの異質性は、局所的および過去の知識をひどく忘れる空間的・時間的破滅的なモデル性能を著しく低下させる。 本稿では,この問題の根本原因が,非IIDデータに対する勾配の固有の脆弱性と感度にあることを明らかにする。 そこで本研究では,解析的(すなわち閉形式)な解を凍結抽出した特徴量から導出することにより,解析的フェデレート連続学習(AFCL)と呼ばれる勾配のない手法を提案する。 ローカルトレーニングでは、各クライアントに対して軽量なフォワードプロパゲーションプロセスのみを使用して、シングルエポック学習を可能にします。 グローバルアグリゲーションでは、サーバは単一ラウンドアグリゲーションでグローバルモデルを再帰的かつ効率的に更新することができる。 AFCLは非IIDデータの時空間不変性を理論的に検証した。 この理想的な性質は、データがローカルクライアントやオンラインタスク間でどのように異種に分散されているかに関わらず、我々のAFCLの集約モデルは変わらず、集中型共同学習と同一であることを意味する。 大規模な実験は、さまざまなベンチマークデータセットと設定をまたいだ最先端のベースラインよりも、AFCLが一貫した優位性を示している。

関連論文リスト

• FedDUAL: A Dual-Strategy with Adaptive Loss and Dynamic Aggregation for Mitigating Data Heterogeneity in Federated Learning [12.307490659840845]
  フェデレートラーニング(FL)は、様々なクライアントからローカルに最適化されたモデルと、統一されたグローバルモデルを組み合わせる。 FLは、性能劣化、収束の遅さ、グローバルモデルの堅牢性低下など、重大な課題に直面している。 これらの問題を効果的に解決するために、革新的なデュアルストラテジーアプローチを導入する。
  論文  参考訳（メタデータ） (2024-12-05T18:42:29Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Mitigating System Bias in Resource Constrained Asynchronous Federated Learning Systems [2.8790600498444032]
  本稿では,AFL(Asynchronous Federated Learning)デプロイメントにおける動的グローバルモデルアグリゲーション手法を提案する。 提案手法は,アップロード頻度に基づいてクライアントモデル更新の重み付けをスコアリングし,その重み付けを調整し,デバイス機能の違いに対応する。
  論文  参考訳（メタデータ） (2024-01-24T10:51:15Z)
• Adaptive Self-Distillation for Minimizing Client Drift in Heterogeneous Federated Learning [9.975023463908496]
  Federated Learning(FL)は、クライアントがローカルトレーニングデータを共有せずに、局所的にトレーニングされたモデルを集約することで、グローバルモデルの共同トレーニングを可能にする機械学習パラダイムである。 本稿では,適応自己蒸留(ASD)に基づく新たな正規化手法を提案する。 我々の正規化方式は,グローバルモデルエントロピーとクライアントのラベル分布に基づいて,クライアントのトレーニングデータに適応的に適応的に適応する。
  論文  参考訳（メタデータ） (2023-05-31T07:00:42Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction [48.85303253333453]
  フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。 局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。 私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。 実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
  論文  参考訳（メタデータ） (2022-03-22T14:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。