論文の概要: Modular-Relatedness for Continual Learning
- arxiv url: http://arxiv.org/abs/2011.01272v2
- Date: Mon, 18 Jan 2021 02:47:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 11:20:50.835567
- Title: Modular-Relatedness for Continual Learning
- Title(参考訳): 連続学習のためのモジュール関連性
- Authors: Ammar Shaker, Shujian Yu, Francesco Alesiani
- Abstract要約: 逐次的タスク学習者にとって有益な連続学習(CL)手法を提案する。
このアプローチの主なターゲットは、ニューラルネットワークのモジュラー部分の自動抽出と、これらのモジュラーコンポーネントが与えられたタスク間の関連性を推定することである。
この手法は、正規化ベースの(例えばElastic Weight Consolidation)やリハーサルベースの(例えばGradient Episodic Memory)といった、エピソードメモリを必要とするCLメソッドの異なるファミリーに適用できる。
- 参考スコア(独自算出の注目度): 20.559945682354538
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a continual learning (CL) technique that is
beneficial to sequential task learners by improving their retained accuracy and
reducing catastrophic forgetting. The principal target of our approach is the
automatic extraction of modular parts of the neural network and then estimating
the relatedness between the tasks given these modular components. This
technique is applicable to different families of CL methods such as
regularization-based (e.g., the Elastic Weight Consolidation) or the
rehearsal-based (e.g., the Gradient Episodic Memory) approaches where episodic
memory is needed. Empirical results demonstrate remarkable performance gain (in
terms of robustness to forgetting) for methods such as EWC and GEM based on our
technique, especially when the memory budget is very limited.
- Abstract(参考訳): 本稿では,逐次的タスク学習者にとって有益な連続学習(CL)手法を提案する。
このアプローチの主なターゲットは、ニューラルネットワークのモジュール部分の自動抽出と、これらのモジュールコンポーネントによって与えられたタスク間の関連性の推定です。
この手法は、正規化ベースの(例えばElastic Weight Consolidation)やリハーサルベースの(例えばGradient Episodic Memory)といった、エピソードメモリを必要とするCLメソッドの異なるファミリーに適用できる。
実験結果から,EWC や GEM などの手法,特にメモリ予算が極めて限られている場合に,顕著な性能向上(忘れることへの堅牢性)が得られた。
関連論文リスト
- Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳(メタデータ) (2024-01-17T09:01:29Z) - Neural Architecture for Online Ensemble Continual Learning [6.241435193861262]
我々は、エンドツーエンドのニューラルネットワークのアンサンブルを効率的に訓練できる、完全に微分可能なアンサンブル法を提案する。
提案手法は,メモリバッファを使わずにSOTA結果が得られ,参照手法よりも明らかに優れている。
論文 参考訳(メタデータ) (2022-11-27T23:17:08Z) - Mitigating Forgetting in Online Continual Learning via Contrasting
Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。
主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文 参考訳(メタデータ) (2022-11-10T05:29:43Z) - Learning an evolved mixture model for task-free continual learning [11.540150938141034]
タスク自由連続学習(TFCL)では,非定常データストリーム上で,明示的なタスク情報を持たないモデルを訓練する。
メモリ過負荷を回避するため,記憶されているサンプルを選択的に削除する2つの単純なドロップアウト機構を導入する。
論文 参考訳(メタデータ) (2022-07-11T16:01:27Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳(メタデータ) (2022-06-01T23:26:51Z) - Gradient-Matching Coresets for Rehearsal-Based Continual Learning [6.243028964381449]
継続学習(CL)の目標は、学習した知識を忘れずに、機械学習モデルを新しいデータで効率的に更新することである。
広く使われているほとんどのCLメソッドは、新しいデータのトレーニング中に再利用されるデータポイントのリハーサルメモリに依存している。
リハーサルに基づく連続学習のためのコアセット選択法を考案する。
論文 参考訳(メタデータ) (2022-03-28T07:37:17Z) - Improving Meta-learning for Low-resource Text Classification and
Generation via Memory Imitation [87.98063273826702]
本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。
本手法の有効性を証明するために理論的解析を行った。
論文 参考訳(メタデータ) (2022-03-22T12:41:55Z) - Learning Multi-Objective Curricula for Deep Reinforcement Learning [55.27879754113767]
深部強化学習(DRL)のサンプル効率と最終性能を向上させるために,各種自動カリキュラム学習(ACL)手法が提案されている。
本稿では,多目的だがコヒーレントなカリキュラムを作成するための統合された自動カリキュラム学習フレームワークを提案する。
既存の手設計のカリキュラムパラダイムに加えて,抽象カリキュラムを学習するためのフレキシブルなメモリ機構を設計する。
論文 参考訳(メタデータ) (2021-10-06T19:30:25Z) - A Kernel-Based Approach to Non-Stationary Reinforcement Learning in
Metric Spaces [53.47210316424326]
KeRNSは、非定常マルコフ決定過程におけるエピソード強化学習のためのアルゴリズムである。
我々は、状態-作用空間の被覆次元と時間とともにMDPの総変動にスケールする後悔境界を証明した。
論文 参考訳(メタデータ) (2020-07-09T21:37:13Z) - Continual Learning with Node-Importance based Adaptive Group Sparse
Regularization [30.23319528662881]
AGS-CL(Adaptive Group Sparsity based Continual Learning)と呼ばれる新しい正規化に基づく連続学習手法を提案する。
提案手法は,各ノードが重要度に基づいて学習する際の2つの罰則を選択的に利用し,各タスクを学習した後に適応的に更新する。
論文 参考訳(メタデータ) (2020-03-30T18:21:04Z) - Automatic Data Augmentation via Deep Reinforcement Learning for
Effective Kidney Tumor Segmentation [57.78765460295249]
医用画像セグメンテーションのための新しい学習ベースデータ拡張法を開発した。
本手法では,データ拡張モジュールと後続のセグメンテーションモジュールをエンドツーエンドのトレーニング方法で一貫した損失と,革新的に組み合わせる。
提案法の有効性を検証したCT腎腫瘍分節法について,本法を広範囲に評価した。
論文 参考訳(メタデータ) (2020-02-22T14:10:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。