論文の概要: Unleashing the Power of Continual Learning on Non-Centralized Devices: A Survey

• arxiv url: http://arxiv.org/abs/2412.13840v1
• Date: Wed, 18 Dec 2024 13:33:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:47:34.914890
• Title: Unleashing the Power of Continual Learning on Non-Centralized Devices: A Survey
• Title（参考訳）: 非集中型デバイスにおける継続的な学習力の解放に関する調査
• Authors: Yichen Li, Haozhao Wang, Wenchao Xu, Tianzhe Xiao, Hong Liu, Minzhu Tu, Yuying Wang, Xin Yang, Rui Zhang, Shui Yu, Song Guo, Ruixuan Li,
• Abstract要約: 非連続学習(NCCL)は、分散デバイスが共同の非定常環境からストリーミングデータを処理できるようにするための新たなパラダイムとなっている。 本調査は,非集中型連続学習アルゴリズムの開発と,分散デバイスへの実環境展開に焦点を当てる。
• 参考スコア（独自算出の注目度）: 37.07938402225207
• License:
• Abstract: Non-Centralized Continual Learning (NCCL) has become an emerging paradigm for enabling distributed devices such as vehicles and servers to handle streaming data from a joint non-stationary environment. To achieve high reliability and scalability in deploying this paradigm in distributed systems, it is essential to conquer challenges stemming from both spatial and temporal dimensions, manifesting as distribution shifts, catastrophic forgetting, heterogeneity, and privacy issues. This survey focuses on a comprehensive examination of the development of the non-centralized continual learning algorithms and the real-world deployment across distributed devices. We begin with an introduction to the background and fundamentals of non-centralized learning and continual learning. Then, we review existing solutions from three levels to represent how existing techniques alleviate the catastrophic forgetting and distribution shift. Additionally, we delve into the various types of heterogeneity issues, security, and privacy attributes, as well as real-world applications across three prevalent scenarios. Furthermore, we establish a large-scale benchmark to revisit this problem and analyze the performance of the state-of-the-art NCCL approaches. Finally, we discuss the important challenges and future research directions in NCCL.
• Abstract（参考訳）: 非集中型連続学習(NCCL)は、車やサーバなどの分散デバイスが、共同の非定常環境からストリーミングデータを処理できるようにする、新たなパラダイムとなっている。 このパラダイムを分散システムにデプロイする際の信頼性とスケーラビリティを達成するためには,分散シフト,破滅的な忘れ込み,異質性,プライバシー問題など,空間的・時間的両面から生じる課題を克服することが不可欠である。 本調査は,非分散型連続学習アルゴリズムの開発と,分散デバイス間の実環境展開の総合的な検討に焦点を当てる。 まずは、非集中的な学習と継続的学習の背景と基礎について紹介する。 次に,既存の3段階のソリューションを概観し,破滅的な忘れと分布シフトを緩和する手法について述べる。 さらに、さまざまなタイプの異種性問題、セキュリティ、プライバシ属性、および3つの一般的なシナリオにわたる現実世界のアプリケーションについても調べています。 さらに,この問題を再検討し,最先端NCCL手法の性能解析を行うため,大規模ベンチマークを構築した。 最後に,NCCLにおける重要な課題と今後の研究方向性について論じる。

関連論文リスト

• Federated Continual Learning: Concepts, Challenges, and Solutions [3.379574469735166]
  Federated Continual Learning (FCL)は、動的環境における協調的なモデルトレーニングのための堅牢なソリューションとして登場した。 この調査は、異質性、モデル安定性、通信オーバーヘッド、プライバシー保護といった重要な課題に焦点を当てている。
  論文  参考訳（メタデータ） (2025-02-10T21:51:02Z)
• Distributed Learning and Inference Systems: A Networking Perspective [0.0]
  本研究は,DA-ITN(Data and Dynamics-Aware Inference and Training Networks)の新たなフレームワークを提案する。 DA-ITNの異なるコンポーネントとそれらの機能について検討し、関連する課題と研究領域を強調した。
  論文  参考訳（メタデータ） (2025-01-09T15:48:29Z)
• Online Continual Learning: A Systematic Literature Review of Approaches, Challenges, and Benchmarks [1.3631535881390204]
  オンライン連続学習(OCL)は、機械学習において重要な分野である。 本研究は,OCLに関する総合的なシステム文献レビューを初めて実施する。
  論文  参考訳（メタデータ） (2025-01-09T01:03:14Z)
• Position Paper: Assessing Robustness, Privacy, and Fairness in Federated Learning Integrated with Foundation Models [39.86957940261993]
  ファンデーションモデル(FM)をフェデレートラーニング(FL)に統合することは、堅牢性、プライバシ、公正性の点で新しい問題をもたらす。 我々は、関連するトレードオフを分析し、この統合によってもたらされる脅威と問題を明らかにし、これらの課題をナビゲートするための一連の基準と戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-02T19:26:00Z)
• Effective Intrusion Detection in Heterogeneous Internet-of-Things Networks via Ensemble Knowledge Distillation-based Federated Learning [52.6706505729803]
  我々は、分散化された侵入検知システムの共有モデル(IDS)を協調訓練するために、フェデレートラーニング(FL)を導入する。 FLEKDは従来のモデル融合法よりも柔軟な凝集法を実現する。 実験の結果,提案手法は,速度と性能の両面で,局所訓練と従来のFLよりも優れていた。
  論文  参考訳（メタデータ） (2024-01-22T14:16:37Z)
• Learning from Heterogeneous Data Based on Social Interactions over Graphs [58.34060409467834]
  本研究では,個別のエージェントが異なる次元のストリーミング特徴を観察しながら分類問題の解決を目指す分散アーキテクチャを提案する。 私たちはそれを示します。 戦略により、エージェントはこの高度に異質な環境下で一貫して学習することができる。 私たちはそれを示します。 戦略により、エージェントはこの高度に異質な環境下で一貫して学習することができる。
  論文  参考訳（メタデータ） (2021-12-17T12:47:18Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Federated Learning for Intrusion Detection System: Concepts, Challenges and Future Directions [0.20236506875465865]
  侵入検知システムは、スマートデバイスのセキュリティとプライバシを確保する上で重要な役割を果たす。 本稿では,侵入検知システムにおけるFLの使用について,広範囲かつ徹底的に検討することを目的とする。
  論文  参考訳（メタデータ） (2021-06-16T13:13:04Z)
• Reinforcement Learning for Datacenter Congestion Control [50.225885814524304]
  渋滞制御アルゴリズムの成功は、レイテンシとネットワーク全体のスループットを劇的に改善する。 今日まで、このような学習ベースのアルゴリズムはこの領域で実用的な可能性を示さなかった。 実世界のデータセンターネットワークの様々な構成に一般化することを目的としたRLに基づくアルゴリズムを考案する。 本稿では,この手法が他のRL手法よりも優れており,トレーニング中に見られなかったシナリオに一般化可能であることを示す。
  論文  参考訳（メタデータ） (2021-02-18T13:49:28Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。