論文の概要: Rehearsal-Free Continual Federated Learning with Synergistic Regularization

• arxiv url: http://arxiv.org/abs/2412.13779v1
• Date: Wed, 18 Dec 2024 12:16:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:47:35.571527
• Title: Rehearsal-Free Continual Federated Learning with Synergistic Regularization
• Title（参考訳）: 相乗的正規化によるリハーサルフリー連続フェデレーション学習
• Authors: Yichen Li, Yuying Wang, Tianzhe Xiao, Haozhao Wang, Yining Qi, Ruixuan Li,
• Abstract要約: 連続的フェデレートラーニング(Continuous Federated Learning, CFL)は、分散デバイスがトレーニングデータを継続的にシフトすることで、新しい概念を協調的に学習することを可能にする。 我々は、CFLのシナプスインテリジェンスを不均一なデータ設定で調整するFedSSIという、単純かつ効果的なCFLの正規化アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 14.258111055761479
• License:
• Abstract: Continual Federated Learning (CFL) allows distributed devices to collaboratively learn novel concepts from continuously shifting training data while avoiding knowledge forgetting of previously seen tasks. To tackle this challenge, most current CFL approaches rely on extensive rehearsal of previous data. Despite effectiveness, rehearsal comes at a cost to memory, and it may also violate data privacy. Considering these, we seek to apply regularization techniques to CFL by considering their cost-efficient properties that do not require sample caching or rehearsal. Specifically, we first apply traditional regularization techniques to CFL and observe that existing regularization techniques, especially synaptic intelligence, can achieve promising results under homogeneous data distribution but fail when the data is heterogeneous. Based on this observation, we propose a simple yet effective regularization algorithm for CFL named FedSSI, which tailors the synaptic intelligence for the CFL with heterogeneous data settings. FedSSI can not only reduce computational overhead without rehearsal but also address the data heterogeneity issue. Extensive experiments show that FedSSI achieves superior performance compared to state-of-the-art methods.
• Abstract（参考訳）: 連続的フェデレートラーニング(Continuous Federated Learning, CFL)は、分散デバイスが、トレーニングデータを継続的にシフトしながら、これまで見たタスクの知識を忘れずに、新しい概念を協調的に学習することを可能にする。 この課題に対処するため、現在のCFLアプローチのほとんどは、以前のデータの広範なリハーサルに依存している。 有効性にもかかわらず、リハーサルにはメモリのコストがかかり、データのプライバシーを侵害する可能性がある。 これらを踏まえて,サンプルキャッシングやリハーサルを必要としないコスト効率特性を考慮し,正規化手法をCFLに適用する。 具体的には、まず従来の正規化手法をCFLに適用し、既存の正規化手法、特にシナプスインテリジェンスにより、同種データ分布下では有望な結果が得られるが、データが不均一である場合に失敗することを示す。 そこで本研究では,CFLに対して,不均一なデータ設定でシナプスインテリジェンスを調整したFedSSIという,シンプルで効果的な正規化アルゴリズムを提案する。 FedSSIはリハーサルなしで計算オーバーヘッドを削減するだけでなく、データの不均一性問題にも対処できる。 大規模な実験により、FedSSIは最先端の手法に比べて優れた性能を発揮することが示された。

関連論文リスト

• FedBiP: Heterogeneous One-Shot Federated Learning with Personalized Latent Diffusion Models [37.76576626976729]
  特別な分散機械学習パラダイムであるOne-Shot Federated Learning (OSFL)が最近注目を集めている。 現在の手法では,リアルタイムOSFLシステムに適用する場合,クライアントデータの不均一性やデータ量制限による課題に直面している。 本稿では,事前学習したLCMをインスタンスレベルと概念レベルでパーソナライズするFederated Bi-Level Personalization (FedBiP)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T07:45:18Z)
• Contrastive Federated Learning with Tabular Data Silos [14.430230014234189]
  本稿では,垂直分割データサイロから学習するためのソリューションとして,タブラルデータサイロを用いたコントラシブ・フェデレート・ラーニング(CFL)を提案する。 CFLは、プライバシを維持するためにオリジナルのデータや代表データの共有を必要とせずに、サンプルのミスアライメントを伴うデータサイロのソリューションを提供する。
  論文  参考訳（メタデータ） (2024-09-10T00:24:59Z)
• Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
  FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。 本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。 その独特な洞察力のある性質とその分析も提示される。
  論文  参考訳（メタデータ） (2023-10-30T14:15:47Z)
• CyclicFL: A Cyclic Model Pre-Training Approach to Efficient Federated Learning [33.250038477336425]
  フェデレートラーニング(FL)は、高レベルのデータプライバシを保証するために、AI Internet of Things(AIoT)デバイス上で分散学習を可能にするために提案されている。 既存のFL法は、特に非IIDシナリオにおいて、収束が遅く、精度が低い。 本稿では,SGDプロセスの導出に有効な初期モデルを迅速に導出できるCyclicFLという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-01-28T13:28:34Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• Low-Latency Cooperative Spectrum Sensing via Truncated Vertical Federated Learning [51.51440623636274]
  データプライバシを損なうことなく、複数のセカンダリユーザ(SU)にまたがる分散機能を活用できる垂直連合学習(VFL)フレームワークを提案する。 学習プロセスの高速化を目的として,T-VFL(Truncated vertical Federated Learning)アルゴリズムを提案する。 T-VFLの収束性能は、数学的解析によって提供され、シミュレーション結果によって正当化される。
  論文  参考訳（メタデータ） (2022-08-07T10:39:27Z)
• Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free Replay [52.251188477192336]
  FSCIL (Few-shot class-incremental Learning) は,データ制限のあるクラスを段階的に学習する深層学習システムを実現するために提案されている。 データリプレイの採用は驚くほど好都合である,という実証的な結果を通じて示します。 本研究では,実データにアクセスすることなく,ジェネレータによるデータ合成が可能なデータフリーリプレイを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:30:51Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Towards Heterogeneous Clients with Elastic Federated Learning [45.2715985913761]
  フェデレーション学習では、エッジプロセッサやデータウェアハウスなどのデバイスやデータサイロ上で、データをローカルに保ちながら、マシンラーニングモデルをトレーニングする。 本稿では,不均一性に対処する非バイアスアルゴリズムであるElastic Federated Learning (EFL)を提案する。 上流と下流の両方の通信を圧縮する効率的かつ効率的なアルゴリズムである。
  論文  参考訳（メタデータ） (2021-06-17T12:30:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。