論文の概要: Improving Generalization in Heterogeneous Federated Continual Learning via Spatio-Temporal Gradient Matching with Prototypical Coreset

• arxiv url: http://arxiv.org/abs/2506.12031v1
• Date: Thu, 22 May 2025 18:26:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-22 23:32:14.590752
• Title: Improving Generalization in Heterogeneous Federated Continual Learning via Spatio-Temporal Gradient Matching with Prototypical Coreset
• Title（参考訳）: 原型コアセットを用いた時空間勾配マッチングによる不均一フェデレーション連続学習の一般化
• Authors: Minh-Duong Nguyen, Le-Tuan Nguyen, Quoc-Viet Pham,
• Abstract要約: 本稿では、クライアントが無関係あるいは矛盾するデータやタスクを持つ、より実践的で挑戦的なFederated Continual Learning設定について検討する。 既存のFCLアプローチでは、しばしば生成的リプレイを使用して、以前のタスクの擬似データセットを作成する。 これらの課題に対処するため,ネットワークフリーなプロトタイプ (STAMP) を用いたspatio-Temporal grAdient Matching という新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 4.1751318268724384
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Continual Learning (FCL) has recently emerged as a crucial research area, as data from distributed clients typically arrives as a stream, requiring sequential learning. This paper explores a more practical and challenging FCL setting, where clients may have unrelated or even conflicting data and tasks. In this scenario, statistical heterogeneity and data noise can create spurious correlations, leading to biased feature learning and catastrophic forgetting. Existing FCL approaches often use generative replay to create pseudo-datasets of previous tasks. However, generative replay itself suffers from catastrophic forgetting and task divergence among clients, leading to overfitting in FCL. Existing FCL approaches often use generative replay to create pseudo-datasets of previous tasks. However, generative replay itself suffers from catastrophic forgetting and task divergence among clients, leading to overfitting in FCL. To address these challenges, we propose a novel approach called Spatio-Temporal grAdient Matching with network-free Prototype (STAMP). Our contributions are threefold: 1) We develop a model-agnostic method to determine subset of samples that effectively form prototypes when using a prototypical network, making it resilient to continual learning challenges; 2) We introduce a spatio-temporal gradient matching approach, applied at both the client-side (temporal) and server-side (spatial), to mitigate catastrophic forgetting and data heterogeneity; 3) We leverage prototypes to approximate task-wise gradients, improving gradient matching on the client-side. Extensive experiments demonstrate our method's superiority over existing baselines.
• Abstract（参考訳）: Federated Continual Learning (FCL)は、分散クライアントからのデータがストリームとして到着し、シーケンシャルな学習を必要とするため、最近重要な研究領域として登場した。 本稿では、クライアントが無関係あるいは矛盾するデータやタスクを持つような、より実践的で困難なFCL設定について検討する。 このシナリオでは、統計的不均一性とデータノイズが急激な相関を生じさせ、バイアスのある特徴学習と破滅的な忘れが生まれる。 既存のFCLアプローチでは、しばしば生成的リプレイを使用して、以前のタスクの擬似データセットを作成する。 しかし、生成的リプレイそのものは、クライアント間で破滅的な忘れ込みとタスクのばらつきに悩まされ、FCLの過度な適合に繋がる。 既存のFCLアプローチでは、しばしば生成的リプレイを使用して、以前のタスクの擬似データセットを作成する。 しかし、生成的リプレイそのものは、クライアント間で破滅的な忘れ込みとタスクのばらつきに悩まされ、FCLの過度な適合に繋がる。 これらの課題に対処するため,ネットワークフリープロトタイプ (STAMP) を用いたspatio-Temporal grAdient Matching という新しい手法を提案する。 私たちの貢献は3倍です。 1) 原型ネットワークを用いてプロトタイプを効果的に形成するサンプルのサブセットを決定するためのモデルに依存しない手法を開発し, 連続的な学習課題に対して弾力性を持たせる。 2) クライアント側(一時的)とサーバ側(空間的)の両方に適用した時空間勾配マッチング手法を導入し, 破滅的な忘れ込みとデータの不均一性を緩和する。 3)タスクワイドの勾配を近似するためにプロトタイプを活用し,クライアント側の勾配マッチングを改善した。 大規模な実験により,本手法は既存のベースラインよりも優れていることが示された。

関連論文リスト

• Accurate Forgetting for Heterogeneous Federated Continual Learning [89.08735771893608]
  提案手法は,フェデレーションネットワークにおける従来の知識を選択的に活用する新しい生成再生手法である。 我々は,従来の知識の信頼性を定量化するために,正規化フローモデルに基づく確率的フレームワークを用いる。
  論文  参考訳（メタデータ） (2025-02-20T02:35:17Z)
• Diffusion-Driven Data Replay: A Novel Approach to Combat Forgetting in Federated Class Continual Learning [13.836798036474143]
  Federated Class Continual Learningにおける大きな課題は、破滅的な忘れ方だ。 本研究では拡散モデルに基づく新しいデータ再生手法を提案する。 我々の手法は既存のベースラインを大きく上回っている。
  論文  参考訳（メタデータ） (2024-09-02T10:07:24Z)
• Reshaping the Online Data Buffering and Organizing Mechanism for Continual Test-Time Adaptation [49.53202761595912]
  継続的なテスト時間適応は、訓練済みのソースモデルを適用して、教師なしのターゲットドメインを継続的に変更する。 我々は、オンライン環境、教師なしの自然、エラー蓄積や破滅的な忘れのリスクなど、このタスクの課題を分析する。 教師なしシングルパスデータストリームから重要サンプルを高い確実性で識別・集約する不確実性を考慮したバッファリング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-12T15:48:40Z)
• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• Finding Foundation Models for Time Series Classification with a PreText Task [7.197233473373693]
  本稿では,時系列分類のための事前訓練済みドメイン基盤モデルを提案する。 我々の方法論の重要な側面は、複数のデータセットにまたがる新しいプリテキストタスクである。 UCRアーカイブの実験では,この事前学習戦略が,事前学習を伴わずに従来の訓練方法よりも有意に優れていたことが示されている。
  論文  参考訳（メタデータ） (2023-11-24T15:03:55Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• FedFA: Federated Learning with Feature Anchors to Align Features and Classifiers for Heterogeneous Data [8.677832361022809]
  フェデレーション学習は、複数のクライアントがデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。 一般的な解決策は、局所訓練中に体重のばらつきや特徴の不整合を規則化する補助的な損失を含む。 我々はFederated Learning with Feature Anchors (FedFA)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-17T02:27:44Z)
• Recent Developments Combining Ensemble Smoother and Deep Generative Networks for Facies History Matching [58.720142291102135]
  本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。 本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
  論文  参考訳（メタデータ） (2020-05-08T21:32:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。