論文の概要: Continual Learning with Node-Importance based Adaptive Group Sparse
Regularization
- arxiv url: http://arxiv.org/abs/2003.13726v4
- Date: Sat, 29 May 2021 07:39:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 06:49:31.219388
- Title: Continual Learning with Node-Importance based Adaptive Group Sparse
Regularization
- Title(参考訳): ノードインポータンスに基づく適応群スパース正規化による連続学習
- Authors: Sangwon Jung, Hongjoon Ahn, Sungmin Cha and Taesup Moon
- Abstract要約: AGS-CL(Adaptive Group Sparsity based Continual Learning)と呼ばれる新しい正規化に基づく連続学習手法を提案する。
提案手法は,各ノードが重要度に基づいて学習する際の2つの罰則を選択的に利用し,各タスクを学習した後に適応的に更新する。
- 参考スコア(独自算出の注目度): 30.23319528662881
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel regularization-based continual learning method, dubbed as
Adaptive Group Sparsity based Continual Learning (AGS-CL), using two group
sparsity-based penalties. Our method selectively employs the two penalties when
learning each node based its the importance, which is adaptively updated after
learning each new task. By utilizing the proximal gradient descent method for
learning, the exact sparsity and freezing of the model is guaranteed, and thus,
the learner can explicitly control the model capacity as the learning
continues. Furthermore, as a critical detail, we re-initialize the weights
associated with unimportant nodes after learning each task in order to prevent
the negative transfer that causes the catastrophic forgetting and facilitate
efficient learning of new tasks. Throughout the extensive experimental results,
we show that our AGS-CL uses much less additional memory space for storing the
regularization parameters, and it significantly outperforms several
state-of-the-art baselines on representative continual learning benchmarks for
both supervised and reinforcement learning tasks.
- Abstract(参考訳): 本稿では,適応群スパシティに基づく連続学習(AGS-CL)と呼ばれる,新たな正規化に基づく連続学習手法を提案する。
提案手法は,各ノードが重要度に基づいて学習する際の2つの罰則を選択的に利用し,各タスクを学習した後に適応的に更新する。
学習のための近位勾配降下法を利用することにより、モデルの正確なスパース性と凍結が保証され、学習者が学習の継続に合わせてモデル容量を明示的に制御することができる。
さらに,各タスクの学習後に重要でないノードに関連付けられた重みを再度初期化し,破滅的な忘れ込みを引き起こす負の移動を防止し,新たなタスクの効率的な学習を容易にする。
実験結果から,AGS-CLは正規化パラメータを格納するためのメモリスペースをはるかに少なくし,教師付きおよび強化学習タスクにおける代表的連続学習ベンチマークにおける最先端のベースラインを著しく上回ることを示した。
関連論文リスト
- Towards Plastic and Stable Exemplar-Free Incremental Learning: A
Dual-Learner Framework with Cumulative Parameter Averaging [13.293105226880616]
In this proposed a Dual-Learner framework with Cumulative。
平均化(DLCPA)
DLCPA は Task-IL と Class-IL の両方の設定において,最先端の既定ベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-10-28T08:48:44Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳(メタデータ) (2023-06-21T01:43:25Z) - Adaptive Regularization for Class-Incremental Learning [7.656272344163667]
ニューラルネットワーク重み付けの正規化は、新しいものを学びながら、以前に学んだクラスを忘れないようにするための一般的な方法である。
既存の正則化器は学習セッションを通して一定等級を使用し、漸進的な学習で遭遇するタスクの難しさのレベルを反映していない可能性がある。
本研究では,手作業の複雑度に応じて適応正則化強度を動的に調整するクラスインクリメンタルラーニングにおける適応正則化の必要性について検討する。
論文 参考訳(メタデータ) (2023-03-23T09:00:38Z) - Active Learning Guided by Efficient Surrogate Learners [25.52920030051264]
1つのデータポイントが新しいラベルを受け取るたびに、ディープラーニングモデルを再トレーニングするのは現実的ではない。
本稿では,ニューラルネットワークの主学習者とともに,ガウス過程の力を利用する新しい能動学習アルゴリズムを提案する。
提案モデルでは,新しいデータインスタンス毎のサロゲート学習者を積極的に更新し,ニューラルネットワークの連続学習ダイナミクスをエミュレートし,活用する。
論文 参考訳(メタデータ) (2023-01-07T01:35:25Z) - Responsible Active Learning via Human-in-the-loop Peer Study [88.01358655203441]
我々は,データプライバシを同時に保持し,モデルの安定性を向上させるために,Pear Study Learning (PSL) と呼ばれる責任あるアクティブラーニング手法を提案する。
まず,クラウドサイドのタスク学習者(教師)から未学習データを分離する。
トレーニング中、タスク学習者は軽量なアクティブ学習者に指示し、アクティブサンプリング基準に対するフィードバックを提供する。
論文 参考訳(メタデータ) (2022-11-24T13:18:27Z) - SURF: Semi-supervised Reward Learning with Data Augmentation for
Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。
報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。
本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
論文 参考訳(メタデータ) (2022-03-18T16:50:38Z) - Continual Learning via Bit-Level Information Preserving [88.32450740325005]
我々は情報理論のレンズを通して連続学習過程を研究する。
モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。
BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
論文 参考訳(メタデータ) (2021-05-10T15:09:01Z) - Continual Learning From Unlabeled Data Via Deep Clustering [7.704949298975352]
継続的学習は、新しいタスクが到着するたびにモデルをスクラッチから再トレーニングするのではなく、少ない計算とメモリリソースを使って、新しいタスクをインクリメンタルに学習することを目的としている。
クラスタ割り当てから得られた擬似ラベルをモデル更新に用いて,教師なしモードで継続的学習を実現する新たなフレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-14T23:46:17Z) - Rectification-based Knowledge Retention for Continual Learning [49.1447478254131]
ディープラーニングモデルは、インクリメンタルな学習環境で訓練されたときに壊滅的な忘れに苦しむ。
タスクインクリメンタル学習問題に対処するための新しいアプローチを提案する。これは、インクリメンタルに到着する新しいタスクに関するモデルをトレーニングすることを含む。
私たちのアプローチは、ゼロショットと非ゼロショットタスクインクリメンタルラーニング設定の両方で使用できます。
論文 参考訳(メタデータ) (2021-03-30T18:11:30Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳(メタデータ) (2020-12-31T08:21:37Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳(メタデータ) (2020-10-16T17:45:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。