論文の概要: Realistic Continual Learning Approach using Pre-trained Models
- arxiv url: http://arxiv.org/abs/2404.07729v1
- Date: Thu, 11 Apr 2024 13:19:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-12 13:59:46.696991
- Title: Realistic Continual Learning Approach using Pre-trained Models
- Title(参考訳): 事前学習モデルを用いた現実的連続学習手法
- Authors: Nadia Nasri, Carlos Gutiérrez-Álvarez, Sergio Lafuente-Arroyo, Saturnino Maldonado-Bascón, Roberto J. López-Sastre,
- Abstract要約: 本稿では,タスク間のクラス分布がランダムな新しいCLパラダイムであるRealistic Continual Learning(RealCL)を紹介する。
CLARE(Continual Learning Approach with pRE-trained model for RealCL scenarios)も提案する。
- 参考スコア(独自算出の注目度): 1.2582887633807602
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning (CL) is crucial for evaluating adaptability in learning solutions to retain knowledge. Our research addresses the challenge of catastrophic forgetting, where models lose proficiency in previously learned tasks as they acquire new ones. While numerous solutions have been proposed, existing experimental setups often rely on idealized class-incremental learning scenarios. We introduce Realistic Continual Learning (RealCL), a novel CL paradigm where class distributions across tasks are random, departing from structured setups. We also present CLARE (Continual Learning Approach with pRE-trained models for RealCL scenarios), a pre-trained model-based solution designed to integrate new knowledge while preserving past learning. Our contributions include pioneering RealCL as a generalization of traditional CL setups, proposing CLARE as an adaptable approach for RealCL tasks, and conducting extensive experiments demonstrating its effectiveness across various RealCL scenarios. Notably, CLARE outperforms existing models on RealCL benchmarks, highlighting its versatility and robustness in unpredictable learning environments.
- Abstract(参考訳): 継続的な学習(CL)は、知識を維持するための学習ソリューションの適応性を評価するために不可欠である。
我々の研究は、モデルが学習したタスクの習熟度を減らし、新しいタスクを取得するという破滅的な忘れ込みの課題に対処する。
多くのソリューションが提案されているが、既存の実験的なセットアップは、しばしば理想化されたクラス増分学習シナリオに依存している。
本稿では,タスク間のクラス分布がランダムな新しいCLパラダイムであるRealistic Continual Learning(RealCL)を紹介する。
CLARE(Continual Learning Approach with pRE-trained model for RealCL scenarios)も提案する。
コントリビューションには、従来のCLセットアップの一般化としてのRealCLの先駆者、RealCLタスクの適応的なアプローチとしてのCLAREの提案、さまざまなRealCLシナリオにおけるその有効性を示す広範な実験などが含まれます。
特に、CLAREはRealCLベンチマークの既存モデルよりも優れており、予測不可能な学習環境におけるその汎用性と堅牢性を強調している。
関連論文リスト
- A Unified and General Framework for Continual Learning [58.72671755989431]
継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。
正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。
本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
論文 参考訳(メタデータ) (2024-03-20T02:21:44Z) - Data Poisoning for In-context Learning [49.77204165250528]
In-context Learning (ICL)は、新しいタスクに適応する革新的な能力として認識されている。
本論文は、ICLのデータ中毒に対する感受性の重大な問題について述べる。
ICLの学習メカニズムを活用するために考案された特殊攻撃フレームワークであるICLPoisonを紹介する。
論文 参考訳(メタデータ) (2024-02-03T14:20:20Z) - Density Distribution-based Learning Framework for Addressing Online
Continual Learning Challenges [4.715630709185073]
オンライン連続学習のための密度分布に基づく学習フレームワークを提案する。
我々のフレームワークは、より優れた平均精度と時間空間効率を実現する。
提案手法は, CL のアプローチにおいて, 有意な差で優れる。
論文 参考訳(メタデータ) (2023-11-22T09:21:28Z) - Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文 参考訳(メタデータ) (2023-05-20T19:22:40Z) - From MNIST to ImageNet and Back: Benchmarking Continual Curriculum
Learning [9.104068727716294]
継続学習(CL)は、機械学習研究で最も有望なトレンドの1つである。
6つの画像データセットから複数の異種タスクを含む2つの新しいCLベンチマークを導入する。
さらに、タスクが複雑化と減少の順序で表されるように、ベンチマークを構造化します。
論文 参考訳(メタデータ) (2023-03-16T18:11:19Z) - Real-Time Evaluation in Online Continual Learning: A New Hope [104.53052316526546]
計算コストに関して,現在の継続学習(CL)手法を評価した。
簡単なベースラインは、この評価の下で最先端のCL法より優れている。
これは、既存のCL文献の大部分は、実用的でない特定の種類のストリームに適合していることを驚くほど示唆している。
論文 参考訳(メタデータ) (2023-02-02T12:21:10Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2023-02-02T04:27:54Z) - A Survey on Curriculum Learning [48.36129047271622]
Curriculum Learning(CL)は、より簡単なデータからより難しいデータまで、マシンラーニングモデルをトレーニングするトレーニング戦略である。
CL戦略は、使い易いプラグインとして、様々なモデルの一般化能力と収束率を改善する能力を示した。
論文 参考訳(メタデータ) (2020-10-25T17:15:04Z) - Continual Learning with Gated Incremental Memories for sequential data
processing [14.657656286730736]
従来の知識を忘れずに動的で非定常的な環境で学習する能力、あるいは継続学習(CL)は、適応型ソリューションのスケーラブルで信頼性の高いデプロイを可能にする重要な手段である。
本研究では,従来の知識を忘れることなく,入力分布における概念ドリフトに対処できるCLのためのリカレントニューラルネットワーク(RNN)モデルを提案する。
論文 参考訳(メタデータ) (2020-04-08T16:00:20Z) - FoCL: Feature-Oriented Continual Learning for Generative Models [9.732863584750179]
逐次到着タスクにおける分布変化へのFoCLの適応が速いことを示す。
また、モデルが忘れることに苦しむ程度を正確に評価する忘れやすさ尺度も導入する。
論文 参考訳(メタデータ) (2020-03-09T00:38:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。