論文の概要: Exploring the Stability Gap in Continual Learning: The Role of the Classification Head
- arxiv url: http://arxiv.org/abs/2411.04723v1
- Date: Wed, 06 Nov 2024 15:45:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-08 19:40:19.275545
- Title: Exploring the Stability Gap in Continual Learning: The Role of the Classification Head
- Title（参考訳）: 連続学習における安定ギャップの探索 : クラスヘッドの役割
- Authors: Wojciech Łapacz, Daniel Marczak, Filip Szatkowski, Tomasz Trzciński,
- Abstract要約: 安定性のギャップは、トレーニング中に部分的に回復する前に、モデルが最初に学習したタスクのパフォーマンスを失う現象である。
バックボーンと分類ヘッドが安定性のギャップに与える影響を評価できるツールとして,NMC(Nest-mean Classifier)を導入した。
実験の結果, NMCは最終性能を向上するだけでなく, 各種連続学習ベンチマークのトレーニング安定性を著しく向上させることがわかった。
- 参考スコア（独自算出の注目度）: 0.6749750044497732
- License:
- Abstract: Continual learning (CL) has emerged as a critical area in machine learning, enabling neural networks to learn from evolving data distributions while mitigating catastrophic forgetting. However, recent research has identified the stability gap -- a phenomenon where models initially lose performance on previously learned tasks before partially recovering during training. Such learning dynamics are contradictory to the intuitive understanding of stability in continual learning where one would expect the performance to degrade gradually instead of rapidly decreasing and then partially recovering later. To better understand and alleviate the stability gap, we investigate it at different levels of the neural network architecture, particularly focusing on the role of the classification head. We introduce the nearest-mean classifier (NMC) as a tool to attribute the influence of the backbone and the classification head on the stability gap. Our experiments demonstrate that NMC not only improves final performance, but also significantly enhances training stability across various continual learning benchmarks, including CIFAR100, ImageNet100, CUB-200, and FGVC Aircrafts. Moreover, we find that NMC also reduces task-recency bias. Our analysis provides new insights into the stability gap and suggests that the primary contributor to this phenomenon is the linear head, rather than the insufficient representation learning.
- Abstract（参考訳）: 連続学習(CL)は機械学習において重要な領域として現れており、ニューラルネットワークは破滅的な忘れを緩和しながら、進化するデータ分布から学習することができる。
しかし、最近の研究では、安定性のギャップが特定されている。これは、トレーニング中に部分的に回復する前に、モデルが最初に学習したタスクのパフォーマンスを損なう現象である。
このような学習力学は、連続的な学習における安定性の直感的な理解とは矛盾する。
安定性のギャップをよりよく理解し緩和するために、ニューラルネットワークアーキテクチャの様々なレベルで、特に分類ヘッドの役割に焦点を当てて検討する。
バックボーンと分類ヘッドが安定性のギャップに与える影響を評価できるツールとして,NMC(Nest-mean Classifier)を導入した。
CIFAR100, ImageNet100, CUB-200, FGVC Aircrafts などの連続学習ベンチマークにおいて, NMC は最終性能を向上するだけでなく, トレーニング安定性を大幅に向上することを示した。
さらに, NMCはタスク待ち時間バイアスを低減させる。
我々の分析は、安定性のギャップに関する新たな洞察を与え、この現象の主因は表現学習の不十分さではなく、線形ヘッドであることを示唆している。
関連論文リスト
- Temporal-Difference Variational Continual Learning [89.32940051152782]
現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。
継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。
複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
論文 参考訳（メタデータ） (2024-10-10T10:58:41Z) - What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。
事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。
CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
論文 参考訳（メタデータ） (2024-05-31T17:57:24Z) - Auxiliary Classifiers Improve Stability and Efficiency in Continual Learning [13.309853617922824]
連続学習における中間的ニューラルネットワーク層の安定性について検討する。
補助分類器(AC)はこの安定性を利用して性能を向上させることができることを示す。
以上の結果から,ACは継続学習モデルの拡張に有望な道筋であることを示唆した。
論文 参考訳（メタデータ） (2024-03-12T08:33:26Z) - Investigating the Edge of Stability Phenomenon in Reinforcement Learning [20.631461205889487]
強化学習(RL)における安定性現象の端点を探る
教師付き学習との大きな違いにもかかわらず、安定性現象の端は、非政治的な深いRLに存在している。
この結果から,ニューラルネットワーク構造は問題領域間の移動を最適化するダイナミクスをもたらす可能性があるが,深いRL最適化の特定の側面は,教師付き学習のような領域と区別できる可能性が示唆された。
論文 参考訳（メタデータ） (2023-07-09T15:46:27Z) - On the Stability-Plasticity Dilemma of Class-Incremental Learning [50.863180812727244]
クラス増分学習の第一の目的は、安定性と可塑性のバランスをとることである。
本稿では,近年のクラス増分学習アルゴリズムが,安定性と塑性のトレードオフにいかに効果的かを明らかにすることを目的とする。
論文 参考訳（メタデータ） (2023-04-04T09:34:14Z) - Achieving a Better Stability-Plasticity Trade-off via Auxiliary Networks
in Continual Learning [23.15206507040553]
本稿では、ニューラルネットワークに現在の課題を学習する能力を持たせるために、補助的ネットワーク継続学習(ANCL)を提案する。
ANCLは、主に安定性に焦点を当てた継続的な学習モデルに可塑性を促進する補助ネットワークを付加する。
より具体的には、提案するフレームワークは、可塑性と安定性を自然に補間する正規化器として実現されている。
論文 参考訳（メタデータ） (2023-03-16T17:00:42Z) - New Insights on Relieving Task-Recency Bias for Online Class Incremental
Learning [37.888061221999294]
あらゆる設定において、オンラインクラスインクリメンタルラーニング(OCIL)はより困難であり、現実世界でより頻繁に遭遇する可能性がある。
安定性と塑性のトレードオフに対処するため,Adaptive Focus Shiftingアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-16T11:52:00Z) - Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。
臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
論文 参考訳（メタデータ） (2022-10-06T23:50:38Z) - Continual evaluation for lifelong learning: Identifying the stability
gap [35.99653845083381]
我々は、新しいタスクの学習を始める際に、一般的な最先端の手法のセットを忘れることに苦しむことを示す。
興味深いが潜在的に問題となる現象を安定性ギャップと呼ぶ。
我々は,各項目評価を用いた連続評価のためのフレームワークを構築し,最悪の場合のパフォーマンスを定量化するための新しい指標セットを定義する。
論文 参考訳（メタデータ） (2022-05-26T15:56:08Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。
本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
論文 参考訳（メタデータ） (2020-06-12T06:00:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。