論文の概要: Online Continual Learning via the Meta-learning Update with Multi-scale Knowledge Distillation and Data Augmentation

• arxiv url: http://arxiv.org/abs/2209.06107v1
• Date: Mon, 12 Sep 2022 10:03:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-14 12:28:44.016569
• Title: Online Continual Learning via the Meta-learning Update with Multi-scale Knowledge Distillation and Data Augmentation
• Title（参考訳）: マルチスケール知識蒸留とデータ拡張によるメタラーニングによるオンライン連続学習
• Authors: Ya-nan Han, Jian-wei Liu
• Abstract要約: 継続的な学習は、一連のタスクから現在のタスクを迅速かつ継続的に学習することを目的としている。 この手法の一般的な制限は、前のタスクと現在のタスクの間のデータ不均衡である。 マルチスケール知識蒸留とデータ拡張によるメタラーニング更新という新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.109784267309124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning aims to rapidly and continually learn the current task from a sequence of tasks. Compared to other kinds of methods, the methods based on experience replay have shown great advantages to overcome catastrophic forgetting. One common limitation of this method is the data imbalance between the previous and current tasks, which would further aggravate forgetting. Moreover, how to effectively address the stability-plasticity dilemma in this setting is also an urgent problem to be solved. In this paper, we overcome these challenges by proposing a novel framework called Meta-learning update via Multi-scale Knowledge Distillation and Data Augmentation (MMKDDA). Specifically, we apply multiscale knowledge distillation to grasp the evolution of long-range and short-range spatial relationships at different feature levels to alleviate the problem of data imbalance. Besides, our method mixes the samples from the episodic memory and current task in the online continual training procedure, thus alleviating the side influence due to the change of probability distribution. Moreover, we optimize our model via the meta-learning update resorting to the number of tasks seen previously, which is helpful to keep a better balance between stability and plasticity. Finally, our experimental evaluation on four benchmark datasets shows the effectiveness of the proposed MMKDDA framework against other popular baselines, and ablation studies are also conducted to further analyze the role of each component in our framework.
• Abstract（参考訳）: 継続的学習は、タスクのシーケンスから現在のタスクを迅速かつ継続的に学習することを目的としている。 他の方法と比較して、experience replayに基づく手法は壊滅的な忘れを克服する大きな利点を示してきた。 この方法の一般的な制限の1つは、以前のタスクと現在のタスク間のデータの不均衡である。 また, この環境下での安定性・塑性ジレンマを効果的に解決する方法も緊急課題である。 本稿では,Multiscale Knowledge Distillation and Data Augmentation (MMKDDA)によるメタラーニング更新という新しいフレームワークを提案することにより,これらの課題を克服する。 具体的には, 長距離空間関係と短距離空間関係の進化を異なる特徴レベルで把握するために, マルチスケールの知識蒸留を適用し, データの不均衡を緩和する。 さらに,オンライン連続訓練におけるエピソードメモリと現在のタスクからのサンプルを混合することにより,確率分布の変化による副作用を軽減する。 さらに,これまでのタスク数を頼りに,メタラーニングアップデートを通じてモデルを最適化することで,安定性と可塑性のバランスを保ちたい。 最後に,4つのベンチマークデータセットについて実験的評価を行い,提案フレームワークが他の一般的なベースラインに対して有効であることを示すとともに,フレームワークにおける各コンポーネントの役割をさらに分析するためにアブレーション研究も行った。

関連論文リスト

• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Multi-Epoch learning with Data Augmentation for Deep Click-Through Rate Prediction [53.88231294380083]
  非連続的な学習シナリオと連続的な学習シナリオの両方に適合する、新しいMulti-Epoch Learning with Data Augmentation (MEDA)フレームワークを導入する。 MEDAは、その後のトレーニングデータへの埋め込み層の依存性を減らし、過度な適合を最小化する。 実験の結果,プレトレーニングした層が新しい埋め込み空間に適応し,過度に適合することなく性能を向上できることが確認された。
  論文  参考訳（メタデータ） (2024-06-27T04:00:15Z)
• Federated Continual Learning Goes Online: Uncertainty-Aware Memory Management for Vision Tasks and Beyond [13.867793835583463]
  本稿では,破滅的な記憶を解消するための不確実性を考慮したメモリベース手法を提案する。 特定の特性を持つサンプルを検索し、そのようなサンプル上でモデルを再訓練することで、このアプローチの可能性を実証する。
  論文  参考訳（メタデータ） (2024-05-29T09:29:39Z)
• Elastic Multi-Gradient Descent for Parallel Continual Learning [28.749215705746135]
  動的マルチタスクシナリオにおける並列連続学習(PCL)のパラダイムについて検討する。 PCLは、学習の進捗が様々に異なる、特定されていないタスクのトレーニングによって、課題を提示する。 従来のタスクと新しいタスクのトレーニングのバランスをとるために,EMGDを用いて計算した勾配によって導かれるメモリ編集機構を提案する。
  論文  参考訳（メタデータ） (2024-01-02T06:26:25Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Dissecting Continual Learning a Structural and Data Analysis [0.0]
  連続学習(Continuous Learning)は、生涯学習が可能なアルゴリズムを考案するための分野である。 ディープラーニングの手法は、モデル化されたデータがその後の学習セッションでかなりの分散シフトを受けていない場合、印象的な結果が得られる。 このようなシステムをこのインクリメンタルな設定に公開すると、パフォーマンスは急速に低下します。
  論文  参考訳（メタデータ） (2023-01-03T10:37:11Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Multiband VAE: Latent Space Partitioning for Knowledge Consolidation in Continual Learning [14.226973149346883]
  従来を忘れずに新しいデータサンプルに関する知識を取得することは、継続的な学習の重要な問題である。 本稿では,変分オートエンコーダの潜伏空間の分割に依存する生成モデルにおける教師なし連続的知識統合手法を提案する。 標準連続学習評価ベンチマークに基づいて,本手法を新たな知識統合シナリオで評価し,提案手法が最先端の2倍に向上することを示す。
  論文  参考訳（メタデータ） (2021-06-23T06:58:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。