論文の概要: Federated Continual Learning Goes Online: Leveraging Uncertainty for Modality-Agnostic Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2405.18925v2
- Date: Wed, 3 Jul 2024 10:22:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 19:24:59.200599
- Title: Federated Continual Learning Goes Online: Leveraging Uncertainty for Modality-Agnostic Class-Incremental Learning
- Title（参考訳）: Federated Continual Learningがオンラインに: モダリティ非依存のクラスインクリメンタルラーニングのための不確実性を活用する
- Authors: Giuseppe Serra, Florian Buettner,
- Abstract要約: 我々は,1回しか処理できないミニバッチのストリームに新しいデータが到着するオンラインシナリオに対処する,新しいモダリティに依存しないアプローチを提案する。
特に,Bregman Information (BI) に基づく推定器を用いて,サンプルレベルでのモデルの分散を計算することを提案する。
- 参考スコア（独自算出の注目度）: 13.867793835583463
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given the ability to model more realistic and dynamic problems, Federated Continual Learning (FCL) has been increasingly investigated recently. A well-known problem encountered in this setting is the so-called catastrophic forgetting, for which the learning model is inclined to focus on more recent tasks while forgetting the previously learned knowledge. The majority of the current approaches in FCL propose generative-based solutions to solve said problem. However, this setting requires multiple training epochs over the data, implying an offline setting where datasets are stored locally and remain unchanged over time. Furthermore, the proposed solutions are tailored for vision tasks solely. To overcome these limitations, we propose a new modality-agnostic approach to deal with the online scenario where new data arrive in streams of mini-batches that can only be processed once. To solve catastrophic forgetting, we propose an uncertainty-aware memory-based approach. In particular, we suggest using an estimator based on the Bregman Information (BI) to compute the model's variance at the sample level. Through measures of predictive uncertainty, we retrieve samples with specific characteristics, and - by retraining the model on such samples - we demonstrate the potential of this approach to reduce the forgetting effect in realistic settings.
- Abstract（参考訳）: より現実的でダイナミックな問題をモデル化する能力を考えると、FCL(Federated Continual Learning)は近年ますます研究されている。
この設定でよく見られる問題は、いわゆる破滅的な忘れことであり、学習モデルは、以前に学んだ知識を忘れながら、より最近のタスクに集中する傾向にある。
FCLの現在のアプローチの大半は、そのような問題を解決するための生成的ソリューションを提案している。
しかし、この設定では複数のトレーニングエポックを必要とするため、データセットをローカルに保存し、時間とともに変更するオフライン設定を暗示する。
さらに,提案手法は視覚タスクのみに特化している。
これらの制限を克服するため、我々は、新しいデータが1回しか処理できないミニバッチのストリームに到着するオンラインシナリオに対処する、新しいモダリティに依存しないアプローチを提案する。
破滅的な記憶を解決するために,不確実性を考慮したメモリベースアプローチを提案する。
特に,Bregman Information (BI) に基づく推定器を用いて,サンプルレベルでのモデルの分散を計算することを提案する。
予測の不確実性の尺度を用いて, 特定の特徴を持つサンプルを抽出し, モデルの再学習により, 現実的な環境下での忘れ込み効果を低減させる手法の可能性を示す。
関連論文リスト
- Temporal-Difference Variational Continual Learning [89.32940051152782]
現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。
継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。
複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
論文 参考訳（メタデータ） (2024-10-10T10:58:41Z) - Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。
具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。
我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2024-07-11T18:01:58Z) - How to Leverage Predictive Uncertainty Estimates for Reducing Catastrophic Forgetting in Online Continual Learning [12.33899500566626]
この研究は、異なる不確実性推定とメモリの投入戦略を詳細に分析する。
負の対数類似度によって誘導される一般化分散を用いて予測の不確かさを推定する別の方法を提案する。
予測不確実性対策を用いることで, CFを異なる設定で低減できることが実証された。
論文 参考訳（メタデータ） (2024-07-10T13:51:15Z) - Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。
これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。
事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。
既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。
我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-07T12:19:37Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - New metrics for analyzing continual learners [27.868967961503962]
継続学習(CL)は、標準的な学習アルゴリズムに課題をもたらす。
この安定性・塑性ジレンマはCLの中心であり、安定性と塑性を個別に適切に測定するために複数の測定基準が提案されている。
課題の難しさを考慮に入れた新しい指標を提案する。
論文 参考訳（メタデータ） (2023-09-01T13:53:33Z) - Continual Learning in Predictive Autoscaling [17.438074717702726]
予測オートスケーリングは、動的クラウド環境におけるサービスレベルの目標(SLO)を保証するために、サーバのワークロードを予測し、事前にリソースを準備するために使用される。
本稿では,リプレイに基づく連続学習手法,すなわち密度ベースのメモリ選択とHintベースのネットワーク学習モデルを提案する。
提案手法は、メモリ容量と予測精度の観点から、最先端の連続学習法より優れている。
論文 参考訳（メタデータ） (2023-07-29T09:29:09Z) - Re-thinking Data Availablity Attacks Against Deep Neural Networks [53.64624167867274]
本稿では、未学習例の概念を再検討し、既存のロバストな誤り最小化ノイズが不正確な最適化目標であることを示す。
本稿では,計算時間要件の低減による保護性能の向上を図った新しい最適化パラダイムを提案する。
論文 参考訳（メタデータ） (2023-05-18T04:03:51Z) - Federated Continual Learning through distillation in pervasive computing [0.2519906683279153]
フェデレートラーニングは、ローカルデバイスの使用を促進する新しい機械学習パラダイムとして導入された。
現在のソリューションは、サーバが送信したモデルを微調整するために、クライアント側で大量のデータを保存することに依存しています。
この提案はHAR(Human Activity Recognition)領域で評価されており、破滅的な忘れ込み効果を効果的に減少させることが示されている。
論文 参考訳（メタデータ） (2022-07-17T13:55:20Z) - Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。
モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。
本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文 参考訳（メタデータ） (2022-02-14T18:33:12Z) - Learning to Continuously Optimize Wireless Resource in a Dynamic
Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。
学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。
我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文 参考訳（メタデータ） (2021-05-03T07:23:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。