論文の概要: On the Stability-Plasticity Dilemma of Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2304.01663v1
- Date: Tue, 4 Apr 2023 09:34:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-05 14:28:11.498013
- Title: On the Stability-Plasticity Dilemma of Class-Incremental Learning
- Title（参考訳）: クラス増分学習における安定性-弾塑性ジレンマについて
- Authors: Dongwan Kim and Bohyung Han
- Abstract要約: クラス増分学習の第一の目的は、安定性と可塑性のバランスをとることである。
本稿では,近年のクラス増分学習アルゴリズムが,安定性と塑性のトレードオフにいかに効果的かを明らかにすることを目的とする。
- 参考スコア（独自算出の注目度）: 50.863180812727244
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A primary goal of class-incremental learning is to strike a balance between
stability and plasticity, where models should be both stable enough to retain
knowledge learned from previously seen classes, and plastic enough to learn
concepts from new classes. While previous works demonstrate strong performance
on class-incremental benchmarks, it is not clear whether their success comes
from the models being stable, plastic, or a mixture of both. This paper aims to
shed light on how effectively recent class-incremental learning algorithms
address the stability-plasticity trade-off. We establish analytical tools that
measure the stability and plasticity of feature representations, and employ
such tools to investigate models trained with various algorithms on large-scale
class-incremental benchmarks. Surprisingly, we find that the majority of
class-incremental learning algorithms heavily favor stability over plasticity,
to the extent that the feature extractor of a model trained on the initial set
of classes is no less effective than that of the final incremental model. Our
observations not only inspire two simple algorithms that highlight the
importance of feature representation analysis, but also suggest that
class-incremental learning approaches, in general, should strive for better
feature representation learning.
- Abstract（参考訳）: クラスインクリメンタルラーニングの主な目標は、安定性と可塑性のバランスを取ることであり、モデルが以前見られたクラスから学んだ知識を保持するのに十分な安定性と、新しいクラスから概念を学ぶのに十分なプラスチックであることである。
これまでの研究はクラスインクリメンタルベンチマークで強い性能を示したが、その成功はモデルが安定であるか、プラスティックであるか、どちらが混在しているかは定かではない。
本稿では,近年のクラス増分学習アルゴリズムが,安定性と塑性のトレードオフにいかに効果的かを明らかにすることを目的とする。
本研究では,特徴表現の安定性と可塑性を測定する解析ツールを構築し,大規模クラスインクリメンタルベンチマークにおいて,様々なアルゴリズムで訓練されたモデルを調べる。
驚くべきことに、クラス増分学習アルゴリズムの大部分は、初期クラスで訓練されたモデルの特徴抽出器が最終的なインクリメンタルモデルよりも効果的である程度に、可塑性よりも安定性を強く優先している。
我々の観察は、特徴表現分析の重要性を強調する2つの単純なアルゴリズムを刺激するだけでなく、一般に、クラス・インクリメンタルな学習アプローチは、より優れた特徴表現学習に努力すべきであることを示唆している。
関連論文リスト
- Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
そこで本研究では,繰り返しのトレーニングにおいて安定な機械学習モデルのシーケンスを見つける手法を提案する。
最適モデルの復元が保証される混合整数最適化の定式化を開発する。
本手法は, 予測力の小さい, 制御可能な犠牲を伴い, 厳密に訓練されたモデルよりも強い安定性を示す。
論文 参考訳（メタデータ） (2024-03-28T22:45:38Z) - Branch-Tuning: Balancing Stability and Plasticity for Continual Self-Supervised Learning [33.560003528712414]
自己教師付き学習(SSL)は、膨大な量のラベルのないデータから一般的な表現を導出するための効果的なパラダイムとして登場した。
これは、新しい情報に適応する際の安定性と可塑性のバランスを崩すことに挑戦する。
本稿では,SSLの安定性と可塑性のバランスを両立させる手法であるブランチチューニングを提案する。
論文 参考訳（メタデータ） (2024-03-27T05:38:48Z) - Towards Plastic and Stable Exemplar-Free Incremental Learning: A Dual-Learner Framework with Cumulative Parameter Averaging [12.168402195820649]
In this proposed a Dual-Learner framework with Cumulative。
平均化(DLCPA)
DLCPA は Task-IL と Class-IL の両方の設定において,最先端の既定ベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-28T08:48:44Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-08T05:44:06Z) - SRIL: Selective Regularization for Class-Incremental Learning [5.810252620242912]
クラスインクリメンタルラーニングは、この課題を克服するために、可塑性と安定性のバランスをとる統合モデルを作成することを目的としている。
本稿では,従来の知識を維持しつつ,新たな知識を受け入れる選択正規化手法を提案する。
CIFAR-100, ImageNet-Subset, ImageNet-Full を用いて提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2023-05-09T05:04:35Z) - PlaStIL: Plastic and Stable Memory-Free Class-Incremental Learning [49.0417577439298]
過去の知識を保ちながら新しいデータから学ぶためには、クラス増分学習において塑性と安定性が必要である。
そこで本稿では, 可塑性と安定性のバランスを良くするために, パラメータ数に類似する手法を提案する。
論文 参考訳（メタデータ） (2022-09-14T12:53:00Z) - Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective [67.45111837188685]
クラスインクリメンタル学習(CIL)アルゴリズムは、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。
表現学習における様々な評価プロトコルを用いて,CILアルゴリズムによって訓練されたニューラルネットワークモデルを実験的に解析する。
論文 参考訳（メタデータ） (2022-06-16T11:44:11Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳（メタデータ） (2021-11-18T06:58:19Z) - Towards Better Plasticity-Stability Trade-off in Incremental Learning: A
simple Linear Connector [8.13916229438606]
塑性安定性ジレンマはインクリメンタルラーニングの主要な問題である。
本研究では,従来のタスクに対するヌルスペースプロジェクションと,現在のタスクに対する単純なSGDの2つの独立最適化されたネットワークの単純な平均化が,すでに学習した知識の保存と,新しいタスクの学習に十分な柔軟性を付与することとの有意義なバランスを達成可能であることを示す。
論文 参考訳（メタデータ） (2021-10-15T07:37:20Z) - Model-Augmented Actor-Critic: Backpropagating through Paths [81.86992776864729]
現在のモデルに基づく強化学習アプローチでは、単に学習されたブラックボックスシミュレータとしてモデルを使用する。
その微分可能性を利用してモデルをより効果的に活用する方法を示す。
論文 参考訳（メタデータ） (2020-05-16T19:18:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。