論文の概要: Read Between the Layers: Leveraging Intra-Layer Representations for
Rehearsal-Free Continual Learning with Pre-Trained Models
- arxiv url: http://arxiv.org/abs/2312.08888v1
- Date: Wed, 13 Dec 2023 13:11:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-15 22:27:37.271021
- Title: Read Between the Layers: Leveraging Intra-Layer Representations for
Rehearsal-Free Continual Learning with Pre-Trained Models
- Title(参考訳): 層間読み出し:事前学習モデルによるリハーサルなし連続学習のための階層内表現の活用
- Authors: Kyra Ahrens, Hans Hergen Lehmann, Jae Hee Lee, Stefan Wermter
- Abstract要約: 継続学習のための新しいクラスプロトタイプベースのアプローチであるLayUPを提案する。
提案手法は概念的には単純で,リプレイバッファを必要としない。
- 参考スコア(独自算出の注目度): 17.31203979844975
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We address the Continual Learning (CL) problem, where a model has to learn a
sequence of tasks from non-stationary distributions while preserving prior
knowledge as it encounters new experiences. With the advancement of foundation
models, CL research has shifted focus from the initial learning-from-scratch
paradigm to the use of generic features from large-scale pre-training. However,
existing approaches to CL with pre-trained models only focus on separating the
class-specific features from the final representation layer and neglect the
power of intermediate representations that capture low- and mid-level features
naturally more invariant to domain shifts. In this work, we propose LayUP, a
new class-prototype-based approach to continual learning that leverages
second-order feature statistics from multiple intermediate layers of a
pre-trained network. Our method is conceptually simple, does not require any
replay buffer, and works out of the box with any foundation model. LayUP
improves over the state-of-the-art on four of the seven class-incremental
learning settings at a considerably reduced memory and computational footprint
compared with the next best baseline. Our results demonstrate that fully
exhausting the representational capacities of pre-trained models in CL goes far
beyond their final embeddings.
- Abstract(参考訳): 我々は、モデルが非定常分布から一連のタスクを学習し、新しい経験に遭遇する前の知識を保ちながら、継続学習(continual learning, cl)の問題に対処する。
基礎モデルの発展に伴い、cl研究は初期学習パラダイムから大規模事前学習から汎用機能の利用へと焦点を移している。
しかし、事前訓練されたモデルによるCLへの既存のアプローチは、クラス固有の特徴を最終表現層から分離することのみに集中し、ドメインシフトに自然に不変な低レベルと中レベルの特徴をキャプチャする中間表現のパワーを無視する。
本研究では,事前学習ネットワークの複数の中間層からの2次特徴統計量を活用する,クラスプロトタイプに基づく連続学習手法であるLayUPを提案する。
本手法は概念的に単純であり,リプレイバッファを必要としない。
LayUPは、次の最高のベースラインと比較して、メモリと計算のフットプリントが大幅に削減された7つのクラスインクリメンタル学習設定のうち4つの最新技術を改善している。
その結果、CLにおける事前学習モデルの表現能力を完全に消耗させることは、最終的な埋め込みをはるかに超えることを示した。
関連論文リスト
- Background Clustering Pre-training for Few-shot Segmentation [11.954463256405967]
最近のいくつかのショットセグメンテーション(FSS)法は、メタトレーニングの前に追加の事前訓練段階を導入し、より強力なバックボーンを得る。
現在の事前学習スキームは、基礎クラスのみが前景としてラベル付けされるという、統合された背景問題に悩まされている。
バックグラウンドクラスタリング事前学習(BCPT)と呼ばれる,新しいクラスをバックグラウンドから切り離し,FSSのための新たな事前学習手法を提案する。
論文 参考訳(メタデータ) (2023-12-06T07:16:32Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2023-07-05T12:49:02Z) - Continual Learners are Incremental Model Generalizers [70.34479702177988]
本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。
その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。
本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
論文 参考訳(メタデータ) (2023-06-21T05:26:28Z) - Guiding The Last Layer in Federated Learning with Pre-Trained Models [18.382057374270143]
フェデレートラーニング(FL)は、データを共有することなく、多数の参加者にまたがってモデルをトレーニングできる新興パラダイムである。
NCM(Nearest Class Means)を用いた分類ヘッドの適合は,既存の提案よりも正確に,桁違いに効率的に行えることを示す。
論文 参考訳(メタデータ) (2023-06-06T18:02:02Z) - Enhancing Continual Relation Extraction via Classifier Decomposition [30.88081408988638]
連続的関係抽出モデルは、ストリーミングデータの古い関係を忘れずに新しい関係を扱うことを目的としている。
ほとんどのモデルは、モデルが最初に新しい関係の表現を学ぶときのみ、バニラ戦略を採用する。
我々は,最後のFFN層を分割した前と現在の分類器に分割する,シンプルで効果的な分類器分解フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-08T11:29:33Z) - SLCA: Slow Learner with Classifier Alignment for Continual Learning on a
Pre-trained Model [73.80068155830708]
予備学習モデル(CLPM)を用いた連続学習のための広範囲な解析法を提案する。
Slow Learner with Alignment (SLCA) というシンプルなアプローチを提案する。
さまざまなシナリオにおいて、私たちの提案はCLPMの大幅な改善を提供します。
論文 参考訳(メタデータ) (2023-03-09T08:57:01Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2023-02-02T04:27:54Z) - Simpler is Better: off-the-shelf Continual Learning Through Pretrained
Backbones [0.0]
本稿では,コンピュータビジョン問題の連続学習のためのベースライン(オフザシェルフ)を提案する。
事前訓練されたモデルのパワーを利用して、クラスプロトタイプを計算し、メモリバンクを埋めます。
パイプラインを一般的なCNNモデルと比較し、ビジョントランスフォーマーの優位性を示す。
論文 参考訳(メタデータ) (2022-05-03T16:03:46Z) - Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。
我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。
提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
論文 参考訳(メタデータ) (2022-04-07T17:58:07Z) - Contrastive Prototype Learning with Augmented Embeddings for Few-Shot
Learning [58.2091760793799]
拡張埋め込み(CPLAE)モデルを用いた新しいコントラスト型プロトタイプ学習を提案する。
クラスプロトタイプをアンカーとして、CPLは、同じクラスのクエリサンプルを、異なるクラスのサンプルを、さらに遠くに引き出すことを目的としている。
いくつかのベンチマークによる大規模な実験により,提案したCPLAEが新たな最先端を実現することが示された。
論文 参考訳(メタデータ) (2021-01-23T13:22:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。