論文の概要: Addressing Spatial-Temporal Data Heterogeneity in Federated Continual Learning via Tail Anchor
- arxiv url: http://arxiv.org/abs/2412.18355v1
- Date: Tue, 24 Dec 2024 11:35:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-25 15:56:50.796093
- Title: Addressing Spatial-Temporal Data Heterogeneity in Federated Continual Learning via Tail Anchor
- Title（参考訳）: タイルアンカーによる連立学習における空間的時間的データ不均一性への対処
- Authors: Hao Yu, Xin Yang, Le Zhang, Hanlin Gu, Tianrui Li, Lixin Fan, Qiang Yang,
- Abstract要約: フェデレートされた連続学習(FCL)により、各クライアントはタスクストリームからその知識を継続的に更新することができる。
本稿では,訓練可能なタイルアンカーと凍結した出力特性を混合して特徴空間における位置を調節するフェデレートタイルアンカー (FedTA) を提案する。
FedTAは既存のFCL法よりも優れているだけでなく、特徴の相対的な位置を効果的に保ち、空間的・時間的変化の影響を受けないままである。
- 参考スコア（独自算出の注目度）: 24.689188066180463
- License:
- Abstract: Federated continual learning (FCL) allows each client to continually update its knowledge from task streams, enhancing the applicability of federated learning in real-world scenarios. However, FCL needs to address not only spatial data heterogeneity between clients but also temporal data heterogeneity between tasks. In this paper, empirical experiments demonstrate that such input-level heterogeneity significantly affects the model's internal parameters and outputs, leading to severe spatial-temporal catastrophic forgetting of local and previous knowledge. To this end, we propose Federated Tail Anchor (FedTA) to mix trainable Tail Anchor with the frozen output features to adjust their position in the feature space, thereby overcoming parameter-forgetting and output-forgetting. Moreover, three novel components are also included in FedTA: Input Enhancement for improving the performance of pre-trained models on downstream tasks; Selective Input Knowledge Fusion for fusion of heterogeneous local knowledge on the server side; and Best Global Prototype Selection for finding the best anchor point for each class in the feature space. Extensive experiments demonstrate that FedTA not only outperforms existing FCL methods but also effectively preserves the relative positions of features, remaining unaffected by spatial and temporal changes.
- Abstract（参考訳）: フェデレートされた連続学習(FCL)は、各クライアントがタスクストリームからの知識を継続的に更新し、現実のシナリオにおけるフェデレーションされた学習の適用性を高める。
しかし、FCLはクライアント間の空間データ不均一性だけでなく、タスク間の時間データ不均一性にも対処する必要がある。
本稿では,そのような入力レベルの不均一性がモデルの内部パラメータや出力に大きく影響し,局所的および過去の知識の空間的・時間的破滅的な忘れを生じさせることを示す。
そこで本研究では,FedTA(Federated Tail Anchor)を用いて,トレーニング可能なTail Anchorと凍結した出力特徴を混合し,特徴空間におけるそれらの位置を調整し,パラメータフォゲッティングと出力フォゲッティングを克服する。
さらに、FedTAには、下流タスクにおける事前訓練されたモデルの性能向上のための入力強化、サーバ側の異種ローカル知識の融合のためのSelective Input Knowledge Fusion、機能領域における各クラスに最適なアンカーポイントを見つけるためのBest Global Prototype Selectionの3つの新しいコンポーネントが含まれている。
大規模な実験により、FedTAは既存のFCL法よりも優れているだけでなく、特徴の相対的な位置を効果的に保ち、空間的および時間的変化の影響を受けないことが示されている。
関連論文リスト
- FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning [5.23984567704876]
フェデレーション学習は、分散機械学習におけるプライバシの保護という課題にパラダイムを提供する。
伝統的なアプローチは、グローバルな長期データにおけるクラスワイドバイアスの現象に対処できない。
新しい手法であるFedLFは、適応ロジット調整、連続クラス中心最適化、特徴デコリレーションという、局所的なトレーニングフェーズに3つの修正を導入している。
論文 参考訳（メタデータ） (2024-09-18T16:25:29Z) - Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping [64.58402571292723]
我々はFedMRと呼ばれる多様体再構成手法を提案し、局所訓練の特徴空間を校正する。
我々は、FedMRがはるかに高い精度と通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行います。
論文 参考訳（メタデータ） (2024-05-29T10:56:13Z) - Decoupled Federated Learning on Long-Tailed and Non-IID data with
Feature Statistics [20.781607752797445]
特徴統計量(DFL-FS)を用いた2段階分離型フェデレーション学習フレームワークを提案する。
最初の段階では、サーバは、マスキングされたローカル特徴統計クラスタリングによってクライアントのクラスカバレッジ分布を推定する。
第2段階では、DFL-FSは、グローバルな特徴統計に基づくフェデレーションされた特徴再生を使用して、長い尾を持つデータ分布へのモデルの適応性を高める。
論文 参考訳（メタデータ） (2024-03-13T09:24:59Z) - FedFed: Feature Distillation against Data Heterogeneity in Federated
Learning [88.36513907827552]
フェデレートラーニング(FL)は通常、データ不均一性、すなわちクライアント間の分散シフトに直面している。
我々はtextbfFederated textbfFeature textbfdistillation (FedFedFed) という新しいアプローチを提案する。
FedFedは、データをパフォーマンスに敏感な機能(すなわち、モデルパフォーマンスに多大な貢献)とパフォーマンスを損なう機能(つまり、モデルパフォーマンスに限られた貢献)に分割する。
総合的な実験は、モデル性能の促進におけるFedFedの有効性を示す。
論文 参考訳（メタデータ） (2023-10-08T09:00:59Z) - Neural Collapse Inspired Federated Learning with Non-iid Data [31.576588815816095]
非独立かつ同一に分散された(非ID)特性は、ローカル更新に大きな違いをもたらし、中央サーバの性能に影響する。
神経崩壊の現象にインスパイアされた私たちは、各クライアントを最適なグローバル構造に最適化するよう強制する。
提案手法は, 異なるサイズのデータセット上での収束速度を高速化して, 性能を向上することができる。
論文 参考訳（メタデータ） (2023-03-27T05:29:53Z) - FedFA: Federated Learning with Feature Anchors to Align Features and
Classifiers for Heterogeneous Data [8.677832361022809]
フェデレーション学習は、複数のクライアントがデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。
一般的な解決策は、局所訓練中に体重のばらつきや特徴の不整合を規則化する補助的な損失を含む。
我々はFederated Learning with Feature Anchors (FedFA)という新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-17T02:27:44Z) - FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated
Learning [91.74206675452888]
本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。
効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
論文 参考訳（メタデータ） (2022-10-14T08:11:34Z) - Rethinking Data Heterogeneity in Federated Learning: Introducing a New
Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。
私たちの観察は直感的である。
私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文 参考訳（メタデータ） (2022-09-30T17:15:19Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳（メタデータ） (2022-03-22T14:06:26Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。