論文の概要: In Defense of the Learning Without Forgetting for Task Incremental
Learning
- arxiv url: http://arxiv.org/abs/2107.12304v1
- Date: Mon, 26 Jul 2021 16:23:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-27 18:26:53.369914
- Title: In Defense of the Learning Without Forgetting for Task Incremental
Learning
- Title(参考訳): タスクインクリメンタル学習を忘れることなく学習を擁護する
- Authors: Guy Oren and Lior Wolf
- Abstract要約: 破滅的な忘れは、継続的な学習システムへの道のりにおける大きな課題の1つだ。
本稿では, タスクインクリメンタルシナリオにおいて, 正しいアーキテクチャと標準的な拡張セットを併用して, LwF が得られた結果が最新のアルゴリズムを上回り, タスクインクリメンタルシナリオが実現されたことを示す。
- 参考スコア(独自算出の注目度): 91.3755431537592
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Catastrophic forgetting is one of the major challenges on the road for
continual learning systems, which are presented with an on-line stream of
tasks. The field has attracted considerable interest and a diverse set of
methods have been presented for overcoming this challenge. Learning without
Forgetting (LwF) is one of the earliest and most frequently cited methods. It
has the advantages of not requiring the storage of samples from the previous
tasks, of implementation simplicity, and of being well-grounded by relying on
knowledge distillation. However, the prevailing view is that while it shows a
relatively small amount of forgetting when only two tasks are introduced, it
fails to scale to long sequences of tasks. This paper challenges this view, by
showing that using the right architecture along with a standard set of
augmentations, the results obtained by LwF surpass the latest algorithms for
task incremental scenario. This improved performance is demonstrated by an
extensive set of experiments over CIFAR-100 and Tiny-ImageNet, where it is also
shown that other methods cannot benefit as much from similar improvements.
- Abstract(参考訳): 破滅的な忘れは、オンラインのタスクストリームが提示される継続的学習システムにとって、大きな課題の1つである。
この分野はかなりの関心を集めており、この課題を克服するための様々な手法が提示されている。
LwF(Learning without Forgetting)は、最も早くよく引用される手法の一つである。
以前のタスクからのサンプルの保存を必要とせず、実装をシンプルにし、知識の蒸留に頼ることで十分な根拠を得られるという利点がある。
しかし、一般的な見解は、2つのタスクが導入されたとき、比較的少ない量の忘れるが、長いタスクのシーケンスにスケールできないというものである。
本稿では, タスクインクリメンタルシナリオにおいて, LwF が得られた結果が, タスクインクリメンタルシナリオにおける最新のアルゴリズムを上回っていることを示す。
この改良された性能は、cifar-100とtiny-imagenetの広範な実験によって実証され、他の方法も同様の改善から利益を得ることができないことが示されている。
関連論文リスト
- Pre-trained Vision and Language Transformers Are Few-Shot Incremental Learners [19.579098962615795]
FSCIL(Few-Shot Class Incremental Learning)は、クラスごとにいくつかのサンプルしか与えられていないことを忘れずに、新しいクラスを漸進的に学習するモデルを必要とするタスクである。
FSCILは2つの大きな課題に直面している。
大規模なデータセットで事前訓練された視覚や言語変換器のような大規模モデルは、数発のインクリメンタル学習者には優れていると我々は主張する。
論文 参考訳(メタデータ) (2024-04-02T17:23:22Z) - MCF-VC: Mitigate Catastrophic Forgetting in Class-Incremental Learning
for Multimodal Video Captioning [10.95493493610559]
マルチモーダルビデオキャプション(MCF-VC)のためのクラス増分学習におけるカタストロフィックフォーミングの軽減手法を提案する。
特徴レベルでの旧タスクと新タスクの知識特性をよりよく制約するために,2段階知識蒸留(TsKD)を作成した。
公開データセットMSR-VTTを用いた実験により,提案手法は古いサンプルを再生することなく過去のタスクを忘れることに対して著しく抵抗し,新しいタスクでうまく機能することを示した。
論文 参考訳(メタデータ) (2024-02-27T16:54:08Z) - Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class
Incremental Learning [64.14254712331116]
非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。
本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2023-12-20T02:34:11Z) - Clustering-based Domain-Incremental Learning [4.835091081509403]
連続学習における鍵となる課題は、いわゆる「破滅的な忘れ問題」である。
動的に更新されたサンプルや勾配の有限プールに対するオンラインクラスタリングに基づくアプローチを提案する。
提案手法の有効性と将来性を示す。
論文 参考訳(メタデータ) (2023-09-21T13:49:05Z) - First-order ANIL provably learns representations despite overparametrization [21.74339210788053]
本研究は,線形二層ネットワークアーキテクチャを用いた一階ANILが線形共有表現の学習に成功していることを示す。
共有表現の次元よりも広い幅を持つことは、アニマルな低ランク解をもたらす。
全体として、一階のANILのようなモデルに依存しない手法が、いかに共有表現を学習できるかを示す。
論文 参考訳(メタデータ) (2023-03-02T15:13:37Z) - Planning for Sample Efficient Imitation Learning [52.44953015011569]
現在の模倣アルゴリズムは、高い性能と高環境サンプル効率を同時に達成するのに苦労している。
本研究では,環境内サンプルの効率と性能を同時に達成できる計画型模倣学習手法であるEfficientImitateを提案する。
実験結果から,EIは性能と試料効率の両立を図った。
論文 参考訳(メタデータ) (2022-10-18T05:19:26Z) - Relational Experience Replay: Continual Learning by Adaptively Tuning
Task-wise Relationship [54.73817402934303]
本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。
ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
論文 参考訳(メタデータ) (2021-12-31T12:05:22Z) - Learning from Guided Play: A Scheduled Hierarchical Approach for
Improving Exploration in Adversarial Imitation Learning [7.51557557629519]
本稿では,主課題,複数の補助課題に加えて,専門家による実演を活用するためのフレームワークであるLearning from Guided Play (LfGP)を紹介する。
主なタスクに対する学習効率は、ボトルネック遷移に挑戦して改善され、専門家データがタスク間で再利用可能になり、学習した補助タスクモデルの再利用を通じて学習を移行することが可能になります。
論文 参考訳(メタデータ) (2021-12-16T14:58:08Z) - Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。
本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。
CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
論文 参考訳(メタデータ) (2021-10-26T22:03:51Z) - Gradient Surgery for Multi-Task Learning [119.675492088251]
マルチタスク学習は、複数のタスク間で構造を共有するための有望なアプローチとして登場した。
マルチタスク学習がシングルタスク学習と比較して難しい理由は、完全には理解されていない。
本稿では,他の作業の勾配の正規平面上にタスクの勾配を投影する勾配手術の一形態を提案する。
論文 参考訳(メタデータ) (2020-01-19T06:33:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。