論文の概要: Elastic Feature Consolidation for Cold Start Exemplar-free Incremental
Learning
- arxiv url: http://arxiv.org/abs/2402.03917v1
- Date: Tue, 6 Feb 2024 11:35:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 15:06:29.282395
- Title: Elastic Feature Consolidation for Cold Start Exemplar-free Incremental
Learning
- Title(参考訳): 冷間開始不要なインクリメンタル学習のための弾性的特徴統合
- Authors: Simone Magistri, Tomaso Trinci, Albin Soutif-Cormerais, Joost van de
Weijer, Andrew D. Bagdanov
- Abstract要約: 本稿では,従来の課題に強く関連する方向のドリフトを規則化し,特徴表現を統一する,シンプルで効果的な手法を提案する。
EFC(Elastic Feature Consolidation)と呼ばれる我々の手法は、経験的特徴行列(EFM)に基づく2次特徴ドリフトの抽出可能な近似を利用する。
CIFAR-100、Tiny-ImageNet、ImageNet-Subset、ImageNet-1Kの実験結果から、弾性的特徴統合は、モデルの可塑性を維持し、最先端技術を大幅に上回ることによって、新しいタスクを学習できることを示した。
- 参考スコア(独自算出の注目度): 19.113777309056022
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Exemplar-Free Class Incremental Learning (EFCIL) aims to learn from a
sequence of tasks without having access to previous task data. In this paper,
we consider the challenging Cold Start scenario in which insufficient data is
available in the first task to learn a high-quality backbone. This is
especially challenging for EFCIL since it requires high plasticity, which
results in feature drift which is difficult to compensate for in the
exemplar-free setting. To address this problem, we propose a simple and
effective approach that consolidates feature representations by regularizing
drift in directions highly relevant to previous tasks and employs prototypes to
reduce task-recency bias. Our method, called Elastic Feature Consolidation
(EFC), exploits a tractable second-order approximation of feature drift based
on an Empirical Feature Matrix (EFM). The EFM induces a pseudo-metric in
feature space which we use to regularize feature drift in important directions
and to update Gaussian prototypes used in a novel asymmetric cross entropy loss
which effectively balances prototype rehearsal with data from new tasks.
Experimental results on CIFAR-100, Tiny-ImageNet, ImageNet-Subset and
ImageNet-1K demonstrate that Elastic Feature Consolidation is better able to
learn new tasks by maintaining model plasticity and significantly outperform
the state-of-the-art.
- Abstract(参考訳): Exemplar-Free Class Incremental Learning (EFCIL) は、タスクのシーケンスから以前のタスクデータにアクセスすることなく学習することを目的としている。
本稿では,高品質なバックボーンを学習する最初のタスクにおいて,不十分なデータが利用できるという,コールドスタートの難しさについて考察する。
これはefcilにとって特に困難であり、高い可塑性を必要とするため、exemplar-free設定では補うのが難しい特徴ドリフトが生じる。
この問題に対処するために,従来のタスクに強く関連する方向のドリフトを規則化し,特徴表現を統合するためのシンプルで効果的な手法を提案する。
提案手法は,EFC (Elastic Feature Consolidation) と呼ばれ,経験的特徴行列 (EFM) に基づく特徴ドリフトの抽出可能な2次近似を利用する。
EFMは、重要な方向における特徴ドリフトの正則化や、新しい非対称なクロスエントロピー損失に使用されるガウスプロトタイプの更新に使用する擬似的特徴空間を誘導し、新しいタスクのデータとプロトタイプのリハーサルを効果的にバランスさせる。
cifar-100、tiny-imagenet、imagenet-subset、imagenet-1kの実験結果は、弾力的な機能統合がモデル可塑性を維持し、最先端を著しく上回ることで新しいタスクを学習できることを示しています。
関連論文リスト
- Few-shot Online Anomaly Detection and Segmentation [29.693357653538474]
本稿では,難易度の高いオンライン異常検出・セグメンテーション(FOADS)の課題に対処することに焦点を当てる。
FOADSフレームワークでは、モデルを数ショットの通常のデータセットでトレーニングし、その後、正常サンプルと異常サンプルの両方を含む未ラベルのストリーミングデータを活用することで、その能力の検査と改善を行う。
限られたトレーニングサンプルを用いた性能向上のために,ImageNetで事前学習したCNNから抽出したマルチスケール特徴埋め込みを用いて,ロバストな表現を得る。
論文 参考訳(メタデータ) (2024-03-27T02:24:00Z) - EsaCL: Efficient Continual Learning of Sparse Models [10.227171407348326]
連続的な学習設定の主な課題は、以前に学習したタスクを実行する方法を忘れずに、タスクのシーケンスを効率的に学習することである。
本研究では,モデルの予測力に悪影響を及ぼすことなく,冗長なパラメータを自動生成する,スパースモデル(EsaCL)の効率的な連続学習法を提案する。
論文 参考訳(メタデータ) (2024-01-11T04:59:44Z) - Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2023-10-10T10:48:52Z) - Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。
提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
論文 参考訳(メタデータ) (2022-12-16T02:43:52Z) - Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than
In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。
パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。
本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文 参考訳(メタデータ) (2022-05-11T17:10:41Z) - Towards Better Plasticity-Stability Trade-off in Incremental Learning: A
simple Linear Connector [8.13916229438606]
塑性安定性ジレンマはインクリメンタルラーニングの主要な問題である。
本研究では,従来のタスクに対するヌルスペースプロジェクションと,現在のタスクに対する単純なSGDの2つの独立最適化されたネットワークの単純な平均化が,すでに学習した知識の保存と,新しいタスクの学習に十分な柔軟性を付与することとの有意義なバランスを達成可能であることを示す。
論文 参考訳(メタデータ) (2021-10-15T07:37:20Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳(メタデータ) (2021-03-01T21:14:33Z) - Progressive Self-Guided Loss for Salient Object Detection [102.35488902433896]
画像中の深層学習に基づくサラエント物体検出を容易にするプログレッシブ自己誘導損失関数を提案する。
我々のフレームワークは適応的に集約されたマルチスケール機能を利用して、健全な物体の探索と検出を効果的に行う。
論文 参考訳(メタデータ) (2021-01-07T07:33:38Z) - Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。
少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。
これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
論文 参考訳(メタデータ) (2020-08-04T10:41:32Z) - Hierarchical and Efficient Learning for Person Re-Identification [19.172946887940874]
階層的大域的, 部分的, 回復的特徴を複数の損失結合の監督の下で学習する, 階層的, 効率的なネットワーク(HENet)を提案する。
また,RPE (Random Polygon Erasing) と呼ばれる新しいデータセット拡張手法を提案する。
論文 参考訳(メタデータ) (2020-05-18T15:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。