論文の概要: Federated Continual Learning Goes Online: Uncertainty-Aware Memory Management for Vision Tasks and Beyond
- arxiv url: http://arxiv.org/abs/2405.18925v3
- Date: Tue, 15 Oct 2024 15:53:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-16 13:57:46.744575
- Title: Federated Continual Learning Goes Online: Uncertainty-Aware Memory Management for Vision Tasks and Beyond
- Title(参考訳): Federated Continual Learningがオンラインに - ビジョンタスクなどに対する不確実性を認識したメモリ管理
- Authors: Giuseppe Serra, Florian Buettner,
- Abstract要約: 本稿では,破滅的な記憶を解消するための不確実性を考慮したメモリベース手法を提案する。
特定の特性を持つサンプルを検索し、そのようなサンプル上でモデルを再訓練することで、このアプローチの可能性を実証する。
- 参考スコア(独自算出の注目度): 13.867793835583463
- License:
- Abstract: Given the ability to model more realistic and dynamic problems, Federated Continual Learning (FCL) has been increasingly investigated recently. A well-known problem encountered in this setting is the so-called catastrophic forgetting, for which the learning model is inclined to focus on more recent tasks while forgetting the previously learned knowledge. The majority of the current approaches in FCL propose generative-based solutions to solve said problem. However, this setting requires multiple training epochs over the data, implying an offline setting where datasets are stored locally and remain unchanged over time. Furthermore, the proposed solutions are tailored for vision tasks solely. To overcome these limitations, we propose a new approach to deal with different modalities in the online scenario where new data arrive in streams of mini-batches that can only be processed once. To solve catastrophic forgetting, we propose an uncertainty-aware memory-based approach. Specifically, we suggest using an estimator based on the Bregman Information (BI) to compute the model's variance at the sample level. Through measures of predictive uncertainty, we retrieve samples with specific characteristics, and - by retraining the model on such samples - we demonstrate the potential of this approach to reduce the forgetting effect in realistic settings while maintaining data confidentiality and competitive communication efficiency compared to state-of-the-art approaches.
- Abstract(参考訳): より現実的でダイナミックな問題をモデル化する能力を考えると、FCL(Federated Continual Learning)は近年ますます研究されている。
この設定でよく見られる問題は、いわゆる破滅的な忘れことであり、学習モデルは、以前に学んだ知識を忘れながら、より最近のタスクに集中する傾向にある。
FCLの現在のアプローチの大半は、そのような問題を解決するための生成的ソリューションを提案している。
しかし、この設定では複数のトレーニングエポックを必要とするため、データセットをローカルに保存し、時間とともに変更するオフライン設定を暗示する。
さらに,提案手法は視覚タスクのみに特化している。
これらの制約を克服するため、オンラインシナリオにおいて、1回しか処理できないミニバッチのストリームに新しいデータが到着する、さまざまなモダリティを扱うための新しいアプローチを提案する。
破滅的な記憶を解決するために,不確実性を考慮したメモリベースアプローチを提案する。
具体的には,Bregman Information (BI) に基づく推定器を用いて,サンプルレベルでのモデルの分散を計算することを提案する。
予測不確実性の尺度を用いて, 特定の特徴を持つサンプルを検索し, モデルの再訓練を行うことにより, データ機密性や競争力のある通信効率を維持しつつ, 現実的な環境下での忘れ効果を低減できる可能性を示す。
関連論文リスト
- How to Leverage Predictive Uncertainty Estimates for Reducing Catastrophic Forgetting in Online Continual Learning [12.33899500566626]
この研究は、異なる不確実性推定とメモリの投入戦略を詳細に分析する。
負の対数類似度によって誘導される一般化分散を用いて予測の不確かさを推定する別の方法を提案する。
予測不確実性対策を用いることで, CFを異なる設定で低減できることが実証された。
論文 参考訳(メタデータ) (2024-07-10T13:51:15Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-15T17:10:51Z) - New metrics for analyzing continual learners [27.868967961503962]
継続学習(CL)は、標準的な学習アルゴリズムに課題をもたらす。
この安定性・塑性ジレンマはCLの中心であり、安定性と塑性を個別に適切に測定するために複数の測定基準が提案されている。
課題の難しさを考慮に入れた新しい指標を提案する。
論文 参考訳(メタデータ) (2023-09-01T13:53:33Z) - Detecting Morphing Attacks via Continual Incremental Training [10.796380524798744]
近年の継続学習(CL)パラダイムは,複数のサイトを通したインクリメンタルトレーニングを実現する上で,効果的なソリューションである可能性がある。
本稿では,このシナリオにおける異なる連続学習手法の性能について検討し,可変サイズであっても,新しいデータチャンクが利用できる度に更新される学習モデルをシミュレートする。
実験結果から,特定のCL手法,すなわちLawF(Learning without Forgetting)が最良性能アルゴリズムの1つであることが判明した。
論文 参考訳(メタデータ) (2023-07-27T17:48:29Z) - Leaving the Nest: Going Beyond Local Loss Functions for
Predict-Then-Optimize [57.22851616806617]
本手法は,文献から得られた4つの領域において,最先端の成果が得られることを示す。
提案手法は, 局所性仮定が破られた場合, 既存手法よりも200%近く性能が向上する。
論文 参考訳(メタデータ) (2023-05-26T11:17:45Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳(メタデータ) (2023-03-03T16:12:59Z) - Federated Continual Learning through distillation in pervasive computing [0.2519906683279153]
フェデレートラーニングは、ローカルデバイスの使用を促進する新しい機械学習パラダイムとして導入された。
現在のソリューションは、サーバが送信したモデルを微調整するために、クライアント側で大量のデータを保存することに依存しています。
この提案はHAR(Human Activity Recognition)領域で評価されており、破滅的な忘れ込み効果を効果的に減少させることが示されている。
論文 参考訳(メタデータ) (2022-07-17T13:55:20Z) - Pessimistic Q-Learning for Offline Reinforcement Learning: Towards
Optimal Sample Complexity [51.476337785345436]
有限水平マルコフ決定過程の文脈におけるQ-ラーニングの悲観的変種について検討する。
ほぼ最適サンプル複雑性を実現するために,分散再現型悲観的Q-ラーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-02-28T15:39:36Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳(メタデータ) (2022-02-14T16:42:16Z) - Knowledge-driven Active Learning [70.37119719069499]
アクティブな学習戦略は、ディープラーニングモデルをトレーニングするために必要なラベル付きデータの量を最小限にすることを目的としている。
ほとんどの積極的な戦略は不確実なサンプルの選択に基づいており、しばしば決定境界に近いサンプルに制限される。
本稿では、一般的なドメイン知識を考慮し、エキスパートでないユーザがより少ないサンプルでモデルを訓練できるようにする。
論文 参考訳(メタデータ) (2021-10-15T06:11:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。