論文の概要: Resource-Constrained Federated Continual Learning: What Does Matter?
- arxiv url: http://arxiv.org/abs/2501.08737v1
- Date: Wed, 15 Jan 2025 11:33:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-16 15:52:01.932904
- Title: Resource-Constrained Federated Continual Learning: What Does Matter?
- Title（参考訳）: リソース制約付き連立学習:何が重要なのか?
- Authors: Yichen Li, Yuying Wang, Jiahua Dong, Haozhao Wang, Yining Qi, Rui Zhang, Ruixuan Li,
- Abstract要約: Federated Continual Learning (FCL)は、エッジデバイスで異なる入ってくるデータのストリーム上で、シーケンシャルにプライバシ保護モデルトレーニングを可能にすることを目的としている。
現在のFCLの文献は、トレーニングのオーバーヘッドに制約を課すことなく、データプライバシの制限と、以前見たデータへのアクセスに重点を置いている。
本稿では,この問題を大規模ベンチマークで再検討し,資源制約の異なる条件下での最先端FCL手法の性能解析を行う。
- 参考スコア（独自算出の注目度）: 26.8087651504234
- License:
- Abstract: Federated Continual Learning (FCL) aims to enable sequentially privacy-preserving model training on streams of incoming data that vary in edge devices by preserving previous knowledge while adapting to new data. Current FCL literature focuses on restricted data privacy and access to previously seen data while imposing no constraints on the training overhead. This is unreasonable for FCL applications in real-world scenarios, where edge devices are primarily constrained by resources such as storage, computational budget, and label rate. We revisit this problem with a large-scale benchmark and analyze the performance of state-of-the-art FCL approaches under different resource-constrained settings. Various typical FCL techniques and six datasets in two incremental learning scenarios (Class-IL and Domain-IL) are involved in our experiments. Through extensive experiments amounting to a total of over 1,000+ GPU hours, we find that, under limited resource-constrained settings, existing FCL approaches, with no exception, fail to achieve the expected performance. Our conclusions are consistent in the sensitivity analysis. This suggests that most existing FCL methods are particularly too resource-dependent for real-world deployment. Moreover, we study the performance of typical FCL techniques with resource constraints and shed light on future research directions in FCL.
- Abstract（参考訳）: Federated Continual Learning (FCL)は、エッジデバイスで異なる入力データのストリーム上で、新しいデータに適応しながら、以前の知識を保存することによって、シーケンシャルなプライバシ保護モデルトレーニングを可能にすることを目的としている。
現在のFCLの文献は、トレーニングのオーバーヘッドに制約を課すことなく、データプライバシの制限と、以前見たデータへのアクセスに重点を置いている。
これは、エッジデバイスが主にストレージ、計算予算、ラベルレートなどのリソースによって制約される現実世界のシナリオにおけるFCLアプリケーションには適さない。
本稿では,この問題を大規模ベンチマークで再検討し,資源制約の異なる条件下での最先端FCL手法の性能解析を行う。
各種のFCL手法と2つの段階的な学習シナリオ(Class-ILとDomain-IL)における6つのデータセットが実験に関与している。
合計1000時間以上のGPU時間を含む大規模な実験により、限られたリソース制約設定の下では、既存のFCLアプローチは例外なく、期待されるパフォーマンスを達成できないことがわかった。
我々の結論は感度分析で一致している。
これは、既存のほとんどのFCLメソッドが現実世界のデプロイにはリソースに依存しすぎることを示唆している。
さらに,資源制約のある典型的なFCL技術の性能について検討し,今後のFCL研究の方向性について光を当てる。
関連論文リスト
- Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
この研究は、性能評価のためのより効率的な指標として、事前学習損失に焦点を当てている。
我々は、データソース間のFLOPに基づいて、ドメイン固有の事前学習損失を予測するために、電力法解析関数を拡張した。
我々は2層ニューラルネットワークを用いて、複数のドメイン固有の損失と下流性能の非線形関係をモデル化する。
論文 参考訳（メタデータ） (2024-10-11T04:57:48Z) - Buffer-based Gradient Projection for Continual Federated Learning [16.879024856283323]
Fed-A-GEMは、局所バッファサンプルと集約バッファ勾配を利用して破滅的な忘れを緩和する。
標準ベンチマークの実験では、さまざまなシナリオで一貫したパフォーマンス改善が示されています。
論文 参考訳（メタデータ） (2024-09-03T03:50:19Z) - Prior-free Balanced Replay: Uncertainty-guided Reservoir Sampling for Long-Tailed Continual Learning [8.191971407001034]
長い尾を持つデータストリームから、忘れることなく学習するための、新しいPBRフレームワークを提案する。
我々は、忘れる問題をさらに軽減するために、2つの事前自由なコンポーネントを組み込んだ。
提案手法は3つの標準長尾ベンチマークで評価される。
論文 参考訳（メタデータ） (2024-08-27T11:38:01Z) - Federated Continual Learning Goes Online: Uncertainty-Aware Memory Management for Vision Tasks and Beyond [13.867793835583463]
本稿では,破滅的な記憶を解消するための不確実性を考慮したメモリベース手法を提案する。
特定の特性を持つサンプルを検索し、そのようなサンプル上でモデルを再訓練することで、このアプローチの可能性を実証する。
論文 参考訳（メタデータ） (2024-05-29T09:29:39Z) - Variational Bayes for Federated Continual Learning [38.11883572425234]
フェデレートベイズニューラルネットワーク(Federated Bayesian Neural Network, FedBNN)は,すべてのクライアントに分散ベイズニューラルネットワークを用いた多目的かつ効率的なフレームワークである。
本手法は, 局所的および歴史的データ分布からの知識を単一モデルに連続的に統合し, 履歴分布の性能を維持しつつ, 新たなデータ分布から順応的に学習する。
論文 参考訳（メタデータ） (2024-05-23T08:09:21Z) - Continual Learning on a Diet: Learning from Sparsely Labeled Streams Under Constrained Computation [123.4883806344334]
本研究では,学習アルゴリズムが学習段階ごとに制限された計算予算を付与する,現実的な連続学習環境について検討する。
この設定を,スパースラベル率の高い大規模半教師付き連続学習シナリオに適用する。
広範に分析と改善を行った結果,DietCLはラベル空間,計算予算,その他様々な改善の完全な範囲で安定していることがわかった。
論文 参考訳（メタデータ） (2024-04-19T10:10:39Z) - Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳（メタデータ） (2024-03-12T13:31:14Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳（メタデータ） (2023-09-01T09:40:36Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - Computationally Budgeted Continual Learning: What Does Matter? [128.0827987414154]
CL (Continuous Learning) は、新しいデータに適応しながら、以前の知識を保存し、分布の異なる入力データのストリーム上でモデルを逐次訓練することを目的としている。
現在のCL文献では、以前のデータへのアクセス制限に焦点が当てられているが、トレーニングの計算予算に制約は課されていない。
本稿では,この問題を大規模ベンチマークで再検討し,計算制約条件下での従来のCL手法の性能解析を行う。
論文 参考訳（メタデータ） (2023-03-20T14:50:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。