論文の概要: FeTrIL++: Feature Translation for Exemplar-Free Class-Incremental
Learning with Hill-Climbing
- arxiv url: http://arxiv.org/abs/2403.07406v1
- Date: Tue, 12 Mar 2024 08:34:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 22:21:53.038239
- Title: FeTrIL++: Feature Translation for Exemplar-Free Class-Incremental
Learning with Hill-Climbing
- Title(参考訳): FeTrIL++:ヒルクライミングによる初歩的なクラスインクリメンタルラーニングのための機能翻訳
- Authors: Eduard Hogea, Adrian Popescu, Darian Onchis, Gr\'egoire Petit
- Abstract要約: EFCIL(Exemplar-free class-incremental Learning)は、主に破滅的な忘れが原因で大きな課題を提起する。
従来のEFCILのアプローチは、連続した微調整や安定性を通じて、プラスチックのモデルに傾くのが一般的である。
本稿では,様々なオーバーサンプリング手法と動的最適化手法の有効性を検討するための基礎的なFeTrILフレームワークを構築した。
- 参考スコア(独自算出の注目度): 3.533544633664583
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Exemplar-free class-incremental learning (EFCIL) poses significant
challenges, primarily due to catastrophic forgetting, necessitating a delicate
balance between stability and plasticity to accurately recognize both new and
previous classes. Traditional EFCIL approaches typically skew towards either
model plasticity through successive fine-tuning or stability by employing a
fixed feature extractor beyond the initial incremental state. Building upon the
foundational FeTrIL framework, our research extends into novel experimental
domains to examine the efficacy of various oversampling techniques and dynamic
optimization strategies across multiple challenging datasets and incremental
settings. We specifically explore how oversampling impacts accuracy relative to
feature availability and how different optimization methodologies, including
dynamic recalibration and feature pool diversification, influence incremental
learning outcomes. The results from these comprehensive experiments, conducted
on CIFAR100, Tiny-ImageNet, and an ImageNet-Subset, under-score the superior
performance of FeTrIL in balancing accuracy for both new and past classes
against ten contemporary methods. Notably, our extensions reveal the nuanced
impacts of oversampling and optimization on EFCIL, contributing to a more
refined understanding of feature-space manipulation for class incremental
learning. FeTrIL and its extended analysis in this paper FeTrIL++ pave the way
for more adaptable and efficient EFCIL methodologies, promising significant
improvements in handling catastrophic forgetting without the need for
exemplars.
- Abstract(参考訳): EFCIL(Exemplar-free class-incremental Learning)は、主に破滅的な忘れ込み、新しいクラスと以前のクラスの両方を正確に認識するために安定性と可塑性の微妙なバランスを必要とするため、重大な課題を提起する。
従来のEFCILのアプローチは、通常、連続的な微調整や安定性を通じて、初期漸進状態を超えて固定された特徴抽出器を使用することによって、塑性のモデルに傾いている。
基礎となるfetrilフレームワークに基づいて,様々なオーバーサンプリング手法と動的最適化手法の有効性を調べるために,新たな実験領域に拡張した。
具体的には、オーバーサンプリングが機能可用性に対する正確性に与える影響、動的リカバリや機能プールの多様化など、さまざまな最適化方法論がインクリメンタルな学習結果に与える影響について検討する。
CIFAR100, Tiny-ImageNet, ImageNet-Subset で実施したこれらの総合実験の結果は、新しいクラスと過去のクラスの精度と10の現代的なメソッドの精度のバランスにおいて、FeTrIL の優れた性能を示す。
特に,EFCILにおけるオーバーサンプリングと最適化の微妙な影響を明らかにし,クラスインクリメンタル学習における特徴空間操作のより洗練された理解に寄与した。
FeTrILとFeTrIL++の拡張解析は、より適応性が高く効率的なEFCIL方法論の道を開いた。
関連論文リスト
- Beyond Single-Model Views for Deep Learning: Optimization versus
Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。
我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。
本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
論文 参考訳(メタデータ) (2024-03-01T14:55:22Z) - Enhanced Few-Shot Class-Incremental Learning via Ensemble Models [37.387414910740695]
クラス増分学習(class-incremental learning)は、新しいクラスを限られたトレーニングデータに継続的に適合させることを目的としている。
主な課題は、珍しい新しいトレーニングサンプルを過度に適合させ、古いクラスを忘れることである。
本稿では,データ拡張と協調して一般化を促進する新しいアンサンブルモデルフレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-14T06:07:07Z) - Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。
近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。
しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。
これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
論文 参考訳(メタデータ) (2023-04-04T16:14:39Z) - Mitigating Forgetting in Online Continual Learning via Contrasting
Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。
主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文 参考訳(メタデータ) (2022-11-10T05:29:43Z) - Exploring Example Influence in Continual Learning [26.85320841575249]
連続学習(CL)は、より良い安定性(S)と塑性(P)を達成することを目的として、人間のような新しいタスクを順次学習する
S と P の影響をトレーニング例で調べるには,SP の改善に向けた学習パターンの改善が期待できる。
本稿では、IFの摂動における2つの重要なステップをシミュレートし、S-およびP-認識の例の影響を得るための、シンプルで効果的なMetaSPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-09-25T15:17:37Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳(メタデータ) (2022-04-10T11:38:33Z) - CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。
このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。
提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文 参考訳(メタデータ) (2022-03-03T05:58:49Z) - Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。
実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文 参考訳(メタデータ) (2021-12-10T20:46:13Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳(メタデータ) (2021-03-01T21:14:33Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。