論文の概要: Adaptive Regularization for Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2303.13113v2
- Date: Fri, 24 Mar 2023 09:23:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-27 11:12:29.901312
- Title: Adaptive Regularization for Class-Incremental Learning
- Title(参考訳): クラス増分学習のための適応正規化
- Authors: Elif Ceren Gok Yildirim, Murat Onur Yildirim, Mert Kilickaya, Joaquin
Vanschoren
- Abstract要約: ニューラルネットワーク重み付けの正規化は、新しいものを学びながら、以前に学んだクラスを忘れないようにするための一般的な方法である。
既存の正則化器は学習セッションを通して一定等級を使用し、漸進的な学習で遭遇するタスクの難しさのレベルを反映していない可能性がある。
本研究では,手作業の複雑度に応じて適応正則化強度を動的に調整するクラスインクリメンタルラーニングにおける適応正則化の必要性について検討する。
- 参考スコア(独自算出の注目度): 7.656272344163667
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Class-Incremental Learning updates a deep classifier with new categories
while maintaining the previously observed class accuracy. Regularizing the
neural network weights is a common method to prevent forgetting previously
learned classes while learning novel ones. However, existing regularizers use a
constant magnitude throughout the learning sessions, which may not reflect the
varying levels of difficulty of the tasks encountered during incremental
learning. This study investigates the necessity of adaptive regularization in
Class-Incremental Learning, which dynamically adjusts the regularization
strength according to the complexity of the task at hand. We propose a Bayesian
Optimization-based approach to automatically determine the optimal
regularization magnitude for each learning task. Our experiments on two
datasets via two regularizers demonstrate the importance of adaptive
regularization for achieving accurate and less forgetful visual incremental
learning.
- Abstract(参考訳): クラスインクリメンタルラーニングは、以前に観測されたクラスの精度を維持しながら、新しいカテゴリで深い分類器を更新する。
ニューラルネットワークの重み付けを正則化することは、新しいクラスを学習しながら学習したクラスを忘れることを防ぐ一般的な方法である。
しかし、既存の正則化器は学習セッションを通して一定等級を使い、漸進的な学習で遭遇するタスクの難しさのレベルを反映していない可能性がある。
本研究は,課題の複雑さに応じて動的に正則化強度を調節する授業インクリメンタルラーニングにおける適応正則化の必要性について検討する。
ベイズ最適化に基づく学習タスクごとに最適な正則化量を自動的に決定する手法を提案する。
2つの正規化器による2つのデータセットの実験は、正確で忘れられない視覚的漸進学習を実現するための適応正規化の重要性を示している。
関連論文リスト
- Infinite dSprites for Disentangled Continual Learning: Separating Memory
Edits from Generalization [48.765079793320346]
Infinite dSpritesは任意の長さの連続的な分類ベンチマークを作成するための擬似ツールである。
この単純なベンチマークでは、十分に長い時間をかけて、全ての主要な連続学習手法の性能が低下していることが示される。
生成因子を直接監督した簡単な設定では、学習階級に依存しない変換が破滅的な忘れを回避できる方法を示している。
論文 参考訳(メタデータ) (2023-12-27T22:05:42Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment
Regularization [57.71118589124002]
継続的な学習は破滅的な忘れ込みという課題を克服しようと試み、そこでは新しいタスクを解くための学習が、モデルが以前に学習した情報を忘れる原因となる。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れ込みを抑える新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-15T17:10:51Z) - Neural Collapse Terminus: A Unified Solution for Class Incremental
Learning and Its Variants [166.916517335816]
本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。
ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。
本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
論文 参考訳(メタデータ) (2023-08-03T13:09:59Z) - Continual Learning with Pretrained Backbones by Tuning in the Input
Space [44.97953547553997]
ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。
ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
論文 参考訳(メタデータ) (2023-06-05T15:11:59Z) - Class Adaptive Network Calibration [19.80805957502909]
ディープネットワークの校正のためのクラス適応ラベル平滑化(CALS)を提案する。
提案手法は,制約付き最適化において確立された手法である拡張ラグランジアンアプローチに基づいて構築される。
論文 参考訳(メタデータ) (2022-11-28T06:05:31Z) - Improving Feature Generalizability with Multitask Learning in Class
Incremental Learning [12.632121107536843]
キーワードスポッティングのような多くのディープラーニングアプリケーションは、クラスインクリメンタルラーニング(CIL)と呼ばれる新しい概念(クラス)を時間とともに組み込む必要がある。
CILの最大の課題は、破滅的な忘れ、すなわち、新しいタスクを学習しながら可能な限り多くの古い知識を保存することである。
本稿では,基本モデルトレーニング中のマルチタスク学習による特徴一般化性の向上を提案する。
提案手法は,平均漸進的学習精度を最大5.5%向上させ,時間とともにより信頼性が高く正確なキーワードスポッティングを可能にする。
論文 参考訳(メタデータ) (2022-04-26T07:47:54Z) - Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。
プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。
我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文 参考訳(メタデータ) (2021-10-22T01:55:01Z) - Subspace Regularizers for Few-Shot Class Incremental Learning [26.372024890126408]
既存のクラスの重みに代表される部分空間に近づき、新しいクラスに対する重みベクトルを奨励する、新しい部分空間正規化スキームの族を示す。
この結果から,クラス表現の幾何学的正則化は連続学習に有効なツールであることが示唆された。
論文 参考訳(メタデータ) (2021-10-13T22:19:53Z) - Active Learning for Sequence Tagging with Deep Pre-trained Models and
Bayesian Uncertainty Estimates [52.164757178369804]
自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。
我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。
また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
論文 参考訳(メタデータ) (2021-01-20T13:59:25Z) - AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。
実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文 参考訳(メタデータ) (2020-06-11T16:36:31Z) - Continual Learning with Node-Importance based Adaptive Group Sparse
Regularization [30.23319528662881]
AGS-CL(Adaptive Group Sparsity based Continual Learning)と呼ばれる新しい正規化に基づく連続学習手法を提案する。
提案手法は,各ノードが重要度に基づいて学習する際の2つの罰則を選択的に利用し,各タスクを学習した後に適応的に更新する。
論文 参考訳(メタデータ) (2020-03-30T18:21:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。