論文の概要: FeTrIL++: Feature Translation for Exemplar-Free Class-Incremental
Learning with Hill-Climbing
- arxiv url: http://arxiv.org/abs/2403.07406v1
- Date: Tue, 12 Mar 2024 08:34:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 22:21:53.038239
- Title: FeTrIL++: Feature Translation for Exemplar-Free Class-Incremental
Learning with Hill-Climbing
- Title（参考訳）: FeTrIL++:ヒルクライミングによる初歩的なクラスインクリメンタルラーニングのための機能翻訳
- Authors: Eduard Hogea, Adrian Popescu, Darian Onchis, Gr\'egoire Petit
- Abstract要約: EFCIL(Exemplar-free class-incremental Learning)は、主に破滅的な忘れが原因で大きな課題を提起する。
従来のEFCILのアプローチは、連続した微調整や安定性を通じて、プラスチックのモデルに傾くのが一般的である。
本稿では,様々なオーバーサンプリング手法と動的最適化手法の有効性を検討するための基礎的なFeTrILフレームワークを構築した。
- 参考スコア（独自算出の注目度）: 3.533544633664583
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Exemplar-free class-incremental learning (EFCIL) poses significant
challenges, primarily due to catastrophic forgetting, necessitating a delicate
balance between stability and plasticity to accurately recognize both new and
previous classes. Traditional EFCIL approaches typically skew towards either
model plasticity through successive fine-tuning or stability by employing a
fixed feature extractor beyond the initial incremental state. Building upon the
foundational FeTrIL framework, our research extends into novel experimental
domains to examine the efficacy of various oversampling techniques and dynamic
optimization strategies across multiple challenging datasets and incremental
settings. We specifically explore how oversampling impacts accuracy relative to
feature availability and how different optimization methodologies, including
dynamic recalibration and feature pool diversification, influence incremental
learning outcomes. The results from these comprehensive experiments, conducted
on CIFAR100, Tiny-ImageNet, and an ImageNet-Subset, under-score the superior
performance of FeTrIL in balancing accuracy for both new and past classes
against ten contemporary methods. Notably, our extensions reveal the nuanced
impacts of oversampling and optimization on EFCIL, contributing to a more
refined understanding of feature-space manipulation for class incremental
learning. FeTrIL and its extended analysis in this paper FeTrIL++ pave the way
for more adaptable and efficient EFCIL methodologies, promising significant
improvements in handling catastrophic forgetting without the need for
exemplars.
- Abstract（参考訳）: EFCIL(Exemplar-free class-incremental Learning)は、主に破滅的な忘れ込み、新しいクラスと以前のクラスの両方を正確に認識するために安定性と可塑性の微妙なバランスを必要とするため、重大な課題を提起する。
従来のEFCILのアプローチは、通常、連続的な微調整や安定性を通じて、初期漸進状態を超えて固定された特徴抽出器を使用することによって、塑性のモデルに傾いている。
基礎となるfetrilフレームワークに基づいて,様々なオーバーサンプリング手法と動的最適化手法の有効性を調べるために,新たな実験領域に拡張した。
具体的には、オーバーサンプリングが機能可用性に対する正確性に与える影響、動的リカバリや機能プールの多様化など、さまざまな最適化方法論がインクリメンタルな学習結果に与える影響について検討する。
CIFAR100, Tiny-ImageNet, ImageNet-Subset で実施したこれらの総合実験の結果は、新しいクラスと過去のクラスの精度と10の現代的なメソッドの精度のバランスにおいて、FeTrIL の優れた性能を示す。
特に,EFCILにおけるオーバーサンプリングと最適化の微妙な影響を明らかにし,クラスインクリメンタル学習における特徴空間操作のより洗練された理解に寄与した。
FeTrILとFeTrIL++の拡張解析は、より適応性が高く効率的なEFCIL方法論の道を開いた。
関連論文リスト
- See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。
分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。
本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
論文 参考訳（メタデータ） (2024-07-07T15:44:42Z) - Contrastive Learning Via Equivariant Representation [19.112460889771423]
CLeVERは,任意の複雑性の増大戦略に適合する,新しい異種コントラスト学習フレームワークである。
実験結果から,CLeVERは実用自然画像から同変情報を効果的に抽出し,組み込んだ。
論文 参考訳（メタデータ） (2024-06-01T01:53:51Z) - FeTT: Continual Class Incremental Learning via Feature Transformation Tuning [19.765229703131876]
継続的学習(CL)は、静的で囲われた環境から動的で複雑なシナリオまで、ディープモデルを拡張することを目的としている。
最近のCLモデルは、パラメータ効率の良い微調整戦略を持つ事前学習モデルの利用に徐々に移行している。
本稿では,すべてのタスクにまたがる非パラメトリック微調整バックボーン機能に対するFeTTモデルを提案する。
論文 参考訳（メタデータ） (2024-05-20T06:33:50Z) - Beyond Single-Model Views for Deep Learning: Optimization versus
Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。
我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。
本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
論文 参考訳（メタデータ） (2024-03-01T14:55:22Z) - Exploring Example Influence in Continual Learning [26.85320841575249]
連続学習(CL)は、より良い安定性(S)と塑性(P)を達成することを目的として、人間のような新しいタスクを順次学習する
S と P の影響をトレーニング例で調べるには,SP の改善に向けた学習パターンの改善が期待できる。
本稿では、IFの摂動における2つの重要なステップをシミュレートし、S-およびP-認識の例の影響を得るための、シンプルで効果的なMetaSPアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-09-25T15:17:37Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳（メタデータ） (2022-04-10T11:38:33Z) - CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。
このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。
提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文 参考訳（メタデータ） (2022-03-03T05:58:49Z) - Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。
実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文 参考訳（メタデータ） (2021-12-10T20:46:13Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳（メタデータ） (2021-03-01T21:14:33Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。