論文の概要: Rethinking Class-incremental Learning in the Era of Large Pre-trained
Models via Test-Time Adaptation
- arxiv url: http://arxiv.org/abs/2310.11482v1
- Date: Tue, 17 Oct 2023 13:06:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-19 19:00:26.938071
- Title: Rethinking Class-incremental Learning in the Era of Large Pre-trained
Models via Test-Time Adaptation
- Title(参考訳): テスト時間適応による大規模事前学習モデルにおけるクラスインクリメンタル学習の再考
- Authors: Imad Eddine Marouf, Subhankar Roy, Enzo Tartaglione, St\'ephane
Lathuili\`ere
- Abstract要約: クラス増分学習(クラス増分学習、class-incremental learning, CIL)は、クラスを新しいタスクに分類するために継続的に学習する課題である。
本稿では,新しいタスクのトレーニングを廃止し,テストインスタンス上でテスト時間適応(TTACIL)を直接実行する新しい視点を提案する。
- 参考スコア(独自算出の注目度): 10.539251433129817
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Class-incremental learning (CIL) is a challenging task that involves
continually learning to categorize classes into new tasks without forgetting
previously learned information. The advent of the large pre-trained models
(PTMs) has fast-tracked the progress in CIL due to the highly transferable PTM
representations, where tuning a small set of parameters results in
state-of-the-art performance when compared with the traditional CIL methods
that are trained from scratch. However, repeated fine-tuning on each task
destroys the rich representations of the PTMs and further leads to forgetting
previous tasks. To strike a balance between the stability and plasticity of
PTMs for CIL, we propose a novel perspective of eliminating training on every
new task and instead performing test-time adaptation (TTA) directly on the test
instances. Concretely, we propose "Test-Time Adaptation for Class-Incremental
Learning" (TTACIL) that first fine-tunes Layer Norm parameters of the PTM on
each test instance for learning task-specific features, and then resets them
back to the base model to preserve stability. As a consequence, TTACIL does not
undergo any forgetting, while benefiting each task with the rich PTM features.
Additionally, by design, our method is robust to common data corruptions. Our
TTACIL outperforms several state-of-the-art CIL methods when evaluated on
multiple CIL benchmarks under both clean and corrupted data.
- Abstract(参考訳): クラス増分学習(クラス増分学習、class-incremental learning、CIL)は、学習した情報を忘れずにクラスを新しいタスクに分類する難題である。
大規模な事前学習モデル(PTM)の出現は、非常に伝達可能なPTM表現によってCILの進行を素早く追跡し、小さなパラメータセットをチューニングすることで、スクラッチからトレーニングされた従来のCIL手法と比較して、最先端のパフォーマンスが得られる。
しかし、各タスクの繰り返し微調整はptmの豊かな表現を破壊し、さらに前のタスクを忘れることになる。
cilにおけるptmの安定性と可塑性のバランスを両立させるために,新たなタスク毎にトレーニングを廃止し,テストインスタンスに対してtta(test-time adaptation)を直接実施するという,新たな視点を提案する。
具体的には、タスク固有の特徴を学習するために各テストインスタンス上でPTMの層ノルムパラメータを初めて微調整し、安定性を保つためにベースモデルにリセットするTTACIL(Test-Time Adaptation for Class-Incremental Learning)を提案する。
その結果、TTACILは、豊富なPTM機能で各タスクの恩恵を受けながら、一切忘れることはない。
さらに,本手法は設計上,一般的なデータ破損に対して堅牢である。
我々のTTACILは、クリーンデータと破損データの両方で複数のCILベンチマークで評価した場合、最先端のCILメソッドよりも優れています。
関連論文リスト
- Towards Plastic and Stable Exemplar-Free Incremental Learning: A Dual-Learner Framework with Cumulative Parameter Averaging [12.168402195820649]
In this proposed a Dual-Learner framework with Cumulative。
平均化(DLCPA)
DLCPA は Task-IL と Class-IL の両方の設定において,最先端の既定ベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-10-28T08:48:44Z) - On the Effectiveness of LayerNorm Tuning for Continual Learning in
Vision Transformers [47.77328392236625]
最新のリハーサルなし連続学習手法は、視覚変換器の特異性を利用してタスク固有のプロンプトを学習する。
そこで、まずタスク固有のパラメータを最適化し、次に推論時間の同じ選択手順で分類器を訓練する。
提案手法は, 計算コストを抑えながら, より優れた結果が得られるか, あるいは, 技術水準に匹敵する結果が得られる。
論文 参考訳(メタデータ) (2023-08-18T15:11:16Z) - Learning to Modulate pre-trained Models in RL [22.812215561012874]
訓練済みモデルの微調整は、しばしば破滅的な忘れ込みに悩まされる。
本研究は、ほとんどの微調整アプローチにおいて、事前学習タスクのパフォーマンスが著しく低下していることを示す。
凍結事前学習モデルの情報フローを変調することにより,学習スキルの劣化を回避する新しい手法L2Mを提案する。
論文 参考訳(メタデータ) (2023-06-26T17:53:05Z) - Improved Test-Time Adaptation for Domain Generalization [48.239665441875374]
テストタイムトレーニング(TTT)は、学習したモデルにテストデータを適用する。
この作業は2つの主な要因に対処する: テストフェーズ中にアップデートする信頼性のあるパラメータを更新および識別するための適切な補助的TTTタスクを選択する。
トレーニングされたモデルに適応パラメータを追加し、テストフェーズでのみ適応パラメータを更新することを提案する。
論文 参考訳(メタデータ) (2023-04-10T10:12:38Z) - Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。
近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。
しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。
これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
論文 参考訳(メタデータ) (2023-04-04T16:14:39Z) - A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。
このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-03-27T16:32:21Z) - Revisiting Class-Incremental Learning with Pre-Trained Models:
Generalizability and Adaptivity are All You Need [76.10635571879762]
クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。
近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。
CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
論文 参考訳(メタデータ) (2023-03-13T17:59:02Z) - Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than
In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。
パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。
本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文 参考訳(メタデータ) (2022-05-11T17:10:41Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳(メタデータ) (2022-03-30T23:16:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。