論文の概要: SacFL: Self-Adaptive Federated Continual Learning for Resource-Constrained End Devices

• arxiv url: http://arxiv.org/abs/2505.00365v1
• Date: Thu, 01 May 2025 07:26:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.257219
• Title: SacFL: Self-Adaptive Federated Continual Learning for Resource-Constrained End Devices
• Title（参考訳）: SacFL: リソース制約されたエンドデバイスのための自己適応型フェデレーション連続学習
• Authors: Zhengyi Zhong, Weidong Bao, Ji Wang, Jianguo Chen, Lingjuan Lyu, Wei Yang Bryan Lim,
• Abstract要約: 継続的変更やデータドリフトを特徴とするデータの動的性質は、デバイス上での機械学習モデルに重大な課題を提起する。 継続的学習に対する従来の集中型アプローチは、プライバシやデータボリュームの懸念から、エンドデバイスには適さない。 FCLは有望なソリューションとして登場し、ユーザデータをローカルに保存し、コラボレーティブアップデートによるモデル拡張を行う。
• 参考スコア（独自算出の注目度）: 38.27552394580526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The proliferation of end devices has led to a distributed computing paradigm, wherein on-device machine learning models continuously process diverse data generated by these devices. The dynamic nature of this data, characterized by continuous changes or data drift, poses significant challenges for on-device models. To address this issue, continual learning (CL) is proposed, enabling machine learning models to incrementally update their knowledge and mitigate catastrophic forgetting. However, the traditional centralized approach to CL is unsuitable for end devices due to privacy and data volume concerns. In this context, federated continual learning (FCL) emerges as a promising solution, preserving user data locally while enhancing models through collaborative updates. Aiming at the challenges of limited storage resources for CL, poor autonomy in task shift detection, and difficulty in coping with new adversarial tasks in FCL scenario, we propose a novel FCL framework named SacFL. SacFL employs an Encoder-Decoder architecture to separate task-robust and task-sensitive components, significantly reducing storage demands by retaining lightweight task-sensitive components for resource-constrained end devices. Moreover, $\rm{SacFL}$ leverages contrastive learning to introduce an autonomous data shift detection mechanism, enabling it to discern whether a new task has emerged and whether it is a benign task. This capability ultimately allows the device to autonomously trigger CL or attack defense strategy without additional information, which is more practical for end devices. Comprehensive experiments conducted on multiple text and image datasets, such as Cifar100 and THUCNews, have validated the effectiveness of $\rm{SacFL}$ in both class-incremental and domain-incremental scenarios. Furthermore, a demo system has been developed to verify its practicality.
• Abstract（参考訳）: エンドデバイスの普及により、デバイス上の機械学習モデルは、これらのデバイスによって生成される多様なデータを継続的に処理する分散コンピューティングパラダイムがもたらされた。 このデータの動的な性質は、連続的な変化やデータドリフトによって特徴づけられ、デバイス上のモデルに重大な課題を生じさせる。 この問題を解決するために、継続学習(CL)が提案され、機械学習モデルがその知識を漸進的に更新し、破滅的な忘れを軽減できる。 しかしながら、CLに対する従来の集中型アプローチは、プライバシとデータボリュームの懸念から、エンドデバイスには適していない。 このような状況下では、FCL(Federated Continuousal Learning)が有望なソリューションとして登場し、ユーザデータをローカルに保存し、協調的な更新を通じてモデルを拡張します。 CLの限られたストレージ資源の課題、タスクシフト検出における自律性の欠如、FCLシナリオにおける新たな敵タスクへの対処の難しさを踏まえ、SacFLという新しいFCLフレームワークを提案する。 SacFL は Encoder-Decoder アーキテクチャを用いてタスクローバートとタスクセンシティブなコンポーネントを分離し、リソース制約のあるエンドデバイスに対して軽量なタスクセンシティブなコンポーネントを保持することでストレージ要求を大幅に削減する。 さらに、$\rm{SacFL}$は、対照的な学習を活用して、自律的なデータシフト検出メカニズムを導入し、新しいタスクが出現したかどうか、それが良質なタスクであるかどうかを識別できるようにする。 この能力により、最終的にデバイスはCLを自律的にトリガーしたり、追加情報なしで防衛戦略を攻撃することができる。 Cifar100やTHUCNewsのような複数のテキストや画像データセットで実施された包括的な実験は、クラスインクリメンタルシナリオとドメインインクリメンタルシナリオの両方において$\rm{SacFL}$の有効性を検証する。 さらに,その実用性を検証するためのデモシステムも開発されている。

関連論文リスト

• Using Diffusion Models as Generative Replay in Continual Federated Learning -- What will Happen? [28.465434174993007]
  本稿では,分散学習環境における継続的学習の課題に対処するための新しいフレームワークであるDCFLを紹介する。 提案手法は条件拡散モデルのパワーを利用して,通信中の各ローカルデバイスで合成履歴データを生成する。
  論文  参考訳（メタデータ） (2024-11-10T22:48:21Z)
• Digital Twin-Assisted Federated Learning with Blockchain in Multi-tier Computing Systems [67.14406100332671]
  産業用 4.0 システムでは、リソース制約のあるエッジデバイスが頻繁にデータ通信を行う。 本稿では,デジタルツイン (DT) とフェデレーション付きデジタルツイン (FL) 方式を提案する。 提案手法の有効性を数値解析により検証した。
  論文  参考訳（メタデータ） (2024-11-04T17:48:02Z)
• INTELLECT: Adapting Cyber Threat Detection to Heterogeneous Computing Environments [0.055923945039144884]
  本稿では,IDSのための事前学習MLモデルと構成の動的適応のための結合パイプラインに,特徴選択,モデルプルーニング,微調整技術を統合する新しいソリューションであるINTELLECTを紹介する。 我々は,知識蒸留技術を微調整中に組み込むことの利点を実証し,MLモデルが歴史的知識を維持しつつ,局所的なネットワークパターンに一貫して適応できることを示す。
  論文  参考訳（メタデータ） (2024-07-17T22:34:29Z)
• CRSFL: Cluster-based Resource-aware Split Federated Learning for Continuous Authentication [5.636155173401658]
  分散学習(SL)とフェデレート学習(FL)は、分散機械学習(ML)モデルをトレーニングするための有望な技術として登場した。 我々はこれらの技術を組み合わせて、ユーザのプライバシーを保護しながら、継続的な認証課題に取り組むことを提案する。
  論文  参考訳（メタデータ） (2024-05-12T06:08:21Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Cloud-Device Collaborative Adaptation to Continual Changing Environments in the Real-world [20.547119604004774]
  本稿では,クラウドとデバイス間の協調を促進するクラウドデバイス協調型継続的適応の新たな学習パラダイムを提案する。 また、クラウド上の大規模モデルの一般化能力をデバイスモデルに転送するための教師学生モデルとして、不確実性に基づくVisual Prompt Adapted (U-VPA)を提案する。 提案するU-VPA教師学生フレームワークは,従来の最先端テスト時間適応とデバイスクラウド協調手法より優れていた。
  論文  参考訳（メタデータ） (2022-12-02T05:02:36Z)
• Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
  ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
  論文  参考訳（メタデータ） (2022-09-01T03:27:33Z)
• RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
  フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。 クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。 悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
  論文  参考訳（メタデータ） (2021-07-07T15:42:49Z)
• MDLdroid: a ChainSGD-reduce Approach to Mobile Deep Learning for Personal Mobile Sensing [14.574274428615666]
  デバイス上でのディープラーニングの実行には、データのプライバシ保護や、モデルの堅牢性とアップデートの両方に対する低レイテンシ応答など、いくつかのメリットがある。 パーソナルモバイルセンシングアプリケーションは、主にユーザ固有であり、環境の影響を受けやすい。 我々は,デバイス上での協調学習を実現するために,新たな分散モバイルディープラーニングフレームワークであるMDLdroidを提案する。
  論文  参考訳（メタデータ） (2020-02-07T16:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。