論文の概要: On the Convergence of Continual Learning with Adaptive Methods
- arxiv url: http://arxiv.org/abs/2404.05555v1
- Date: Mon, 8 Apr 2024 14:28:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 14:05:34.620745
- Title: On the Convergence of Continual Learning with Adaptive Methods
- Title（参考訳）: 適応的手法による連続学習の収束性について
- Authors: Seungyub Han, Yeongmo Kim, Taehyun Cho, Jungwoo Lee,
- Abstract要約: 適応型非連続学習法(NCCL)を提案する。
提案手法は,複数の画像分類タスクに対する継続学習既存手法の性能を向上させることを実証する。
- 参考スコア（独自算出の注目度）: 4.351356718501137
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: One of the objectives of continual learning is to prevent catastrophic forgetting in learning multiple tasks sequentially, and the existing solutions have been driven by the conceptualization of the plasticity-stability dilemma. However, the convergence of continual learning for each sequential task is less studied so far. In this paper, we provide a convergence analysis of memory-based continual learning with stochastic gradient descent and empirical evidence that training current tasks causes the cumulative degradation of previous tasks. We propose an adaptive method for nonconvex continual learning (NCCL), which adjusts step sizes of both previous and current tasks with the gradients. The proposed method can achieve the same convergence rate as the SGD method when the catastrophic forgetting term which we define in the paper is suppressed at each iteration. Further, we demonstrate that the proposed algorithm improves the performance of continual learning over existing methods for several image classification tasks.
- Abstract（参考訳）: 連続学習の目的の1つは、複数のタスクを逐次学習する際の破滅的な忘れを防止することであり、既存のソリューションは可塑性安定性ジレンマの概念化によって駆動されている。
しかし, 逐次課題毎の連続学習の収束度は, これまでのところあまり研究されていない。
本稿では、確率勾配降下によるメモリベース連続学習の収束解析と、現在のタスクのトレーニングが過去のタスクの累積劣化を引き起こすという実証的証拠を提供する。
本研究では,従来のタスクと現在のタスクの両方のステップサイズを勾配で調整する,非凸連続学習(NCCL)の適応的手法を提案する。
提案手法は,本論文で定義した破滅的忘れ込み項を各反復で抑制する場合に,SGD法と同じ収束率を達成することができる。
さらに,提案アルゴリズムは,複数の画像分類タスクに対して,既存の手法よりも継続学習の性能を向上することを示した。
関連論文リスト
- Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。
実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
論文 参考訳（メタデータ） (2024-11-18T08:20:21Z) - Temporal-Difference Variational Continual Learning [89.32940051152782]
現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。
継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。
複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
論文 参考訳（メタデータ） (2024-10-10T10:58:41Z) - An Effective Dynamic Gradient Calibration Method for Continual Learning [11.555822066922508]
継続的学習(CL)は機械学習の基本的なトピックであり、目標は連続的なデータとタスクでモデルをトレーニングすることだ。
メモリ制限のため、すべての履歴データを保存できないため、破滅的な忘れの問題に直面します。
モデルの各更新ステップの勾配をキャリブレーションする有効なアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-07-30T16:30:09Z) - Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - Clustering-based Domain-Incremental Learning [4.835091081509403]
連続学習における鍵となる課題は、いわゆる「破滅的な忘れ問題」である。
動的に更新されたサンプルや勾配の有限プールに対するオンラインクラスタリングに基づくアプローチを提案する。
提案手法の有効性と将来性を示す。
論文 参考訳（メタデータ） (2023-09-21T13:49:05Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - Efficient Meta-Learning for Continual Learning with Taylor Expansion
Approximation [2.28438857884398]
連続学習は、非定常分布下で連続的なタスクを処理する際の破滅的な忘れを緩和することを目的としている。
本稿では,オンライン連続学習問題を解決するためのメタ学習アルゴリズムを提案する。
提案手法は, 最先端手法と比較して, 高い性能, 高い効率を実現している。
論文 参考訳（メタデータ） (2022-10-03T04:57:05Z) - Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。
学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。
本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
論文 参考訳（メタデータ） (2022-03-02T22:35:58Z) - Learning Invariant Representation for Continual Learning [5.979373021392084]
継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。
連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。
共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
論文 参考訳（メタデータ） (2021-01-15T15:12:51Z) - Semi-Discriminative Representation Loss for Online Continual Learning [16.414031859647874]
勾配に基づくアプローチは、コンパクトなエピソードメモリをより効率的に活用するために開発されている。
本稿では,SDRL(Semi-Discriminative Representation Loss)という,連続学習のための簡易な手法を提案する。
論文 参考訳（メタデータ） (2020-06-19T17:13:42Z) - Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。
本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。
経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文 参考訳（メタデータ） (2020-06-18T19:04:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。