論文の概要: A Simple Baseline that Questions the Use of Pretrained-Models in
Continual Learning
- arxiv url: http://arxiv.org/abs/2210.04428v2
- Date: Wed, 29 Mar 2023 10:05:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-30 18:43:39.292724
- Title: A Simple Baseline that Questions the Use of Pretrained-Models in
Continual Learning
- Title（参考訳）: 継続学習における事前学習モデルの使用に関する簡単なベースライン
- Authors: Paul Janson, Wenxuan Zhang, Rahaf Aljundi, Mohamed Elhoseiny
- Abstract要約: いくつかの手法は、事前訓練された表現に基づいて連続学習機構を設計し、継続学習のトレーニング中に最小限のアップデートやバックボーンモデルの更新を許可しない。
我々は、事前訓練された特徴抽出器自体が、Split-CIFAR100およびCoRe 50ベンチマーク上での競争力や継続学習性能を達成するのに十分な強度を持つと論じる。
このベースラインは10-Split-CIFAR-100で88.53%を達成した。
- 参考スコア（独自算出の注目度）: 30.023047201419825
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the success of pretraining techniques in representation learning, a
number of continual learning methods based on pretrained models have been
proposed. Some of these methods design continual learning mechanisms on the
pre-trained representations and only allow minimum updates or even no updates
of the backbone models during the training of continual learning. In this
paper, we question whether the complexity of these models is needed to achieve
good performance by comparing them to a simple baseline that we designed. We
argue that the pretrained feature extractor itself can be strong enough to
achieve a competitive or even better continual learning performance on
Split-CIFAR100 and CoRe 50 benchmarks. To validate this, we conduct a very
simple baseline that 1) use the frozen pretrained model to extract image
features for every class encountered during the continual learning stage and
compute their corresponding mean features on training data, and 2) predict the
class of the input based on the nearest neighbor distance between test samples
and mean features of the classes; i.e., Nearest Mean Classifier (NMC). This
baseline is single-headed, exemplar-free, and can be task-free (by updating the
means continually). This baseline achieved 88.53% on 10-Split-CIFAR-100,
surpassing most state-of-the-art continual learning methods that are all
initialized using the same pretrained transformer model. We hope our baseline
may encourage future progress in designing learning systems that can
continually add quality to the learning representations even if they started
from some pretrained weights.
- Abstract（参考訳）: 表現学習における事前学習技術の成功により,事前学習モデルに基づく連続学習手法が提案されている。
これらの方法のいくつかは、事前学習された表現の連続学習メカニズムを設計し、連続学習のトレーニング中にバックボーンモデルの最小更新や更新を許可しない。
本稿では、我々が設計した単純なベースラインと比較することにより、優れたパフォーマンスを達成するためにこれらのモデルの複雑さが必要かどうかを問う。
我々は、事前訓練された特徴抽出器自体が、Split-CIFAR100およびCoRe 50ベンチマーク上での競争力や継続学習性能を達成するのに十分な強度を持つと論じる。
これを検証するために、非常に単純なベースラインを実行します。
1) 凍結事前学習モデルを用いて、連続学習段階で遭遇したクラス毎の画像特徴を抽出し、対応する平均特徴をトレーニングデータ上で計算する。
2) 入力のクラスは、テストサンプルとクラスの平均特徴の最も近い隣り合う距離、すなわちNMC(Nearest Mean Classifier)に基づいて予測される。
このベースラインはシングルヘッドで、例外なく、(継続的に更新することで)タスクフリーになる。
このベースラインは、10-split-cifar-100で88.53%を達成し、同じ事前訓練されたトランスフォーマーモデルを用いて初期化されるほとんどの最先端の連続学習法を上回った。
トレーニング済みの重みから始めても、学習表現に継続的に品質を付加できる学習システムの設計において、私たちのベースラインが今後の進歩を促すことを期待しています。
関連論文リスト
- Transferable Post-training via Inverse Value Learning [83.75002867411263]
別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。
このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。
得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
論文 参考訳（メタデータ） (2024-10-28T13:48:43Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Random Representations Outperform Online Continually Learned Representations [68.42776779425978]
既存のオンライン学習深層ネットワークは、単純な事前定義されたランダム変換に比べて劣った表現を生成することを示す。
我々の手法はRanDumbと呼ばれ、あらゆるオンライン連続学習ベンチマークにおいて、最先端の学習表現を著しく上回っている。
本研究は, 表現学習の大きな限界, 特に低経験, オンライン連続学習のシナリオについて明らかにした。
論文 参考訳（メタデータ） (2024-02-13T22:07:29Z) - Meta-Learned Attribute Self-Interaction Network for Continual and
Generalized Zero-Shot Learning [46.6282595346048]
ゼロショット学習(ZSL)は、トレーニング中のカテゴリーを見えないものに一般化するための有望なアプローチである。
連続的なZSLのためのMAIN(Meta-learned Attribute Self-Interaction Network)を提案する。
メタラーニングと属性エンコーダの逆正則化を用いて学習した属性をペアリングすることで、未知のクラス属性を活用することなく、最先端の成果を達成できる。
論文 参考訳（メタデータ） (2023-12-02T16:23:01Z) - PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。
一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。
一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文 参考訳（メタデータ） (2023-09-13T17:55:11Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-05T12:49:02Z) - Effective training-time stacking for ensembling of deep neural networks [1.2667973028134798]
スナップショットアンサンブルは、単一のトレーニングパスに沿ってアンサンブル内のモデルを収集する。
トレーニングパスに沿ってアンサンブルメンバーを選択して重み付けすることでスナップショットアンサンブルを改善する。
標準の積み重ねメソッドが行う検証サンプルエラーを考慮せずに、トレーニング時間の確率に依存する。
論文 参考訳（メタデータ） (2022-06-27T17:52:53Z) - Simpler is Better: off-the-shelf Continual Learning Through Pretrained
Backbones [0.0]
本稿では,コンピュータビジョン問題の連続学習のためのベースライン(オフザシェルフ)を提案する。
事前訓練されたモデルのパワーを利用して、クラスプロトタイプを計算し、メモリバンクを埋めます。
パイプラインを一般的なCNNモデルと比較し、ビジョントランスフォーマーの優位性を示す。
論文 参考訳（メタデータ） (2022-05-03T16:03:46Z) - Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。
本手法は画像内情報と画像間情報の両方を利用する。
トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
論文 参考訳（メタデータ） (2021-04-01T08:09:26Z) - Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。
プレトレーニング自体が多様性の優れた源であることが示される。
本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-14T07:59:00Z) - Efficient Learning of Model Weights via Changing Features During
Training [0.0]
学習中の特徴を動的に変化させる機械学習モデルを提案する。
私たちの主な動機は、トレーニングプロセス中に小さなコンテンツでモデルを更新し、より説明力の少ない機能を大きなプールから新しいものに置き換えることです。
論文 参考訳（メタデータ） (2020-02-21T12:38:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。