論文の概要: Online Continual Learning via the Meta-learning Update with Multi-scale
Knowledge Distillation and Data Augmentation
- arxiv url: http://arxiv.org/abs/2209.06107v1
- Date: Mon, 12 Sep 2022 10:03:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-14 12:28:44.016569
- Title: Online Continual Learning via the Meta-learning Update with Multi-scale
Knowledge Distillation and Data Augmentation
- Title(参考訳): マルチスケール知識蒸留とデータ拡張によるメタラーニングによるオンライン連続学習
- Authors: Ya-nan Han, Jian-wei Liu
- Abstract要約: 継続的な学習は、一連のタスクから現在のタスクを迅速かつ継続的に学習することを目的としている。
この手法の一般的な制限は、前のタスクと現在のタスクの間のデータ不均衡である。
マルチスケール知識蒸留とデータ拡張によるメタラーニング更新という新しいフレームワークを提案する。
- 参考スコア(独自算出の注目度): 4.109784267309124
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual learning aims to rapidly and continually learn the current task
from a sequence of tasks.
Compared to other kinds of methods, the methods based on experience replay
have shown great advantages to overcome catastrophic forgetting. One common
limitation of this method is the data imbalance between the previous and
current tasks, which would further aggravate forgetting. Moreover, how to
effectively address the stability-plasticity dilemma in this setting is also an
urgent problem to be solved. In this paper, we overcome these challenges by
proposing a novel framework called Meta-learning update via Multi-scale
Knowledge Distillation and Data Augmentation (MMKDDA). Specifically, we apply
multiscale knowledge distillation to grasp the evolution of long-range and
short-range spatial relationships at different feature levels to alleviate the
problem of data imbalance. Besides, our method mixes the samples from the
episodic memory and current task in the online continual training procedure,
thus alleviating the side influence due to the change of probability
distribution. Moreover, we optimize our model via the meta-learning update
resorting to the number of tasks seen previously, which is helpful to keep a
better balance between stability and plasticity. Finally, our experimental
evaluation on four benchmark datasets shows the effectiveness of the proposed
MMKDDA framework against other popular baselines, and ablation studies are also
conducted to further analyze the role of each component in our framework.
- Abstract(参考訳): 継続的学習は、タスクのシーケンスから現在のタスクを迅速かつ継続的に学習することを目的としている。
他の方法と比較して、experience replayに基づく手法は壊滅的な忘れを克服する大きな利点を示してきた。
この方法の一般的な制限の1つは、以前のタスクと現在のタスク間のデータの不均衡である。
また, この環境下での安定性・塑性ジレンマを効果的に解決する方法も緊急課題である。
本稿では,Multiscale Knowledge Distillation and Data Augmentation (MMKDDA)によるメタラーニング更新という新しいフレームワークを提案することにより,これらの課題を克服する。
具体的には, 長距離空間関係と短距離空間関係の進化を異なる特徴レベルで把握するために, マルチスケールの知識蒸留を適用し, データの不均衡を緩和する。
さらに,オンライン連続訓練におけるエピソードメモリと現在のタスクからのサンプルを混合することにより,確率分布の変化による副作用を軽減する。
さらに,これまでのタスク数を頼りに,メタラーニングアップデートを通じてモデルを最適化することで,安定性と可塑性のバランスを保ちたい。
最後に,4つのベンチマークデータセットについて実験的評価を行い,提案フレームワークが他の一般的なベースラインに対して有効であることを示すとともに,フレームワークにおける各コンポーネントの役割をさらに分析するためにアブレーション研究も行った。
関連論文リスト
- Elastic Multi-Gradient Descent for Parallel Continual Learning [28.749215705746135]
動的マルチタスクシナリオにおける並列連続学習(PCL)のパラダイムについて検討する。
PCLは、学習の進捗が様々に異なる、特定されていないタスクのトレーニングによって、課題を提示する。
従来のタスクと新しいタスクのトレーニングのバランスをとるために,EMGDを用いて計算した勾配によって導かれるメモリ編集機構を提案する。
論文 参考訳(メタデータ) (2024-01-02T06:26:25Z) - Order Matters in the Presence of Dataset Imbalance for Multilingual
Learning [53.74649778447903]
本稿では,高リソースタスクの事前学習をシンプルかつ効果的に行う方法と,高リソースタスクと低リソースタスクの混合による微調整について述べる。
ニューラルネットワーク翻訳(NMT)と多言語言語モデリングの改善について述べる。
論文 参考訳(メタデータ) (2023-12-11T05:46:57Z) - New metrics for analyzing continual learners [27.868967961503962]
継続学習(CL)は、標準的な学習アルゴリズムに課題をもたらす。
この安定性・塑性ジレンマはCLの中心であり、安定性と塑性を個別に適切に測定するために複数の測定基準が提案されている。
課題の難しさを考慮に入れた新しい指標を提案する。
論文 参考訳(メタデータ) (2023-09-01T13:53:33Z) - A multifidelity approach to continual learning for physical systems [1.4218223473363278]
本稿では,多要素深層ニューラルネットワークに基づく連続学習手法を提案する。
本手法は,既存のトレーニングデータセット上で,事前学習したモデルの出力と所望のモデルの出力との相関関係を学習する。
論文 参考訳(メタデータ) (2023-04-08T03:07:43Z) - Smoothed Online Learning for Prediction in Piecewise Affine Systems [54.98643421343919]
本稿では,最近開発されたスムーズなオンライン学習フレームワークに基づく。
これは、断片的なアフィン系における予測とシミュレーションのための最初のアルゴリズムを提供する。
論文 参考訳(メタデータ) (2023-01-26T15:54:14Z) - Dissecting Continual Learning a Structural and Data Analysis [0.0]
連続学習(Continuous Learning)は、生涯学習が可能なアルゴリズムを考案するための分野である。
ディープラーニングの手法は、モデル化されたデータがその後の学習セッションでかなりの分散シフトを受けていない場合、印象的な結果が得られる。
このようなシステムをこのインクリメンタルな設定に公開すると、パフォーマンスは急速に低下します。
論文 参考訳(メタデータ) (2023-01-03T10:37:11Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳(メタデータ) (2022-03-08T09:57:48Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳(メタデータ) (2022-02-25T13:47:09Z) - Relational Experience Replay: Continual Learning by Adaptively Tuning
Task-wise Relationship [54.73817402934303]
本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。
ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
論文 参考訳(メタデータ) (2021-12-31T12:05:22Z) - Multiband VAE: Latent Space Partitioning for Knowledge Consolidation in
Continual Learning [14.226973149346883]
従来を忘れずに新しいデータサンプルに関する知識を取得することは、継続的な学習の重要な問題である。
本稿では,変分オートエンコーダの潜伏空間の分割に依存する生成モデルにおける教師なし連続的知識統合手法を提案する。
標準連続学習評価ベンチマークに基づいて,本手法を新たな知識統合シナリオで評価し,提案手法が最先端の2倍に向上することを示す。
論文 参考訳(メタデータ) (2021-06-23T06:58:40Z) - Continuous Transition: Improving Sample Efficiency for Continuous
Control Problems via MixUp [119.69304125647785]
本稿では,連続的遷移を構築するための簡潔かつ強力な手法を提案する。
具体的には、連続的な遷移を線形に補間することにより、トレーニングのための新しい遷移を合成することを提案する。
また, 建設過程を自動案内する判別器を開発した。
論文 参考訳(メタデータ) (2020-11-30T01:20:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。