論文の概要: Achieving a Better Stability-Plasticity Trade-off via Auxiliary Networks in Continual Learning

• arxiv url: http://arxiv.org/abs/2303.09483v1
• Date: Thu, 16 Mar 2023 17:00:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 14:36:15.164997
• Title: Achieving a Better Stability-Plasticity Trade-off via Auxiliary Networks in Continual Learning
• Title（参考訳）: 連続学習における補助ネットワークによる安定性・塑性トレードオフの達成
• Authors: Sanghwan Kim, Lorenzo Noci, Antonio Orvieto and Thomas Hofmann
• Abstract要約: 本稿では、ニューラルネットワークに現在の課題を学習する能力を持たせるために、補助的ネットワーク継続学習(ANCL)を提案する。 ANCLは、主に安定性に焦点を当てた継続的な学習モデルに可塑性を促進する補助ネットワークを付加する。 より具体的には、提案するフレームワークは、可塑性と安定性を自然に補間する正規化器として実現されている。
• 参考スコア（独自算出の注目度）: 23.15206507040553
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In contrast to the natural capabilities of humans to learn new tasks in a sequential fashion, neural networks are known to suffer from catastrophic forgetting, where the model's performances on old tasks drop dramatically after being optimized for a new task. Since then, the continual learning (CL) community has proposed several solutions aiming to equip the neural network with the ability to learn the current task (plasticity) while still achieving high accuracy on the previous tasks (stability). Despite remarkable improvements, the plasticity-stability trade-off is still far from being solved and its underlying mechanism is poorly understood. In this work, we propose Auxiliary Network Continual Learning (ANCL), a novel method that applies an additional auxiliary network which promotes plasticity to the continually learned model which mainly focuses on stability. More concretely, the proposed framework materializes in a regularizer that naturally interpolates between plasticity and stability, surpassing strong baselines on task incremental and class incremental scenarios. Through extensive analyses on ANCL solutions, we identify some essential principles beneath the stability-plasticity trade-off.
• Abstract（参考訳）: 新しいタスクをシーケンシャルに学習する人間の自然な能力とは対照的に、ニューラルネットワークは壊滅的な忘れに苦しむことが知られており、古いタスクにおけるモデルのパフォーマンスは、新しいタスクに最適化された後に劇的に低下する。 それ以来、継続学習(CL)コミュニティは、ニューラルネットワークに現在のタスク(塑性)を学習する能力を持たせつつ、以前のタスク(安定性)を高い精度で達成することを目的とした、いくつかのソリューションを提案してきた。 顕著な改善にもかかわらず、可塑性-安定性のトレードオフはまだ解決には程遠い。 本研究では,主に安定性を重視した連続学習モデルに可塑性を促進させる補助的ネットワークを新たに導入する,補助的ネットワーク継続学習(ANCL)を提案する。 より具体的には、提案したフレームワークは、可塑性と安定性を自然に補間し、タスクインクリメンタルとクラスインクリメンタルシナリオの強いベースラインを超えたレギュレータとして実現されている。 ancl溶液の広範な分析を通じて,安定性・可塑性トレードオフ下での重要な原理を明らかにした。

関連論文リスト

• New Insights for the Stability-Plasticity Dilemma in Online Continual Learning [21.664470275289407]
  マルチスケール特徴適応ネットワーク(MuFAN)というオンライン連続学習フレームワークを提案する。 MuFANはSVHN、CIFAR100、miniImageNet、CORe50データセット上で、最先端の継続的な学習方法よりも優れている。
  論文  参考訳（メタデータ） (2023-02-17T07:43:59Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [139.6594925819784]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• Balancing Stability and Plasticity through Advanced Null Space in Continual Learning [77.94570903726856]
  我々は,従来のタスクの古いデータを格納することなく,安定性と可塑性のバランスをとるために,新しい連続学習手法Advanced Null Space(AdNS)を提案する。 また,現在のタスクの性能向上を図るため,タスク内蒸留を簡便かつ効果的に行う方法を提案する。 実験結果から,提案手法は最先端の連続学習手法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2022-07-25T11:04:22Z)
• Entropy-based Stability-Plasticity for Lifelong Learning [17.40355682488805]
  本稿では,ニューラルネットワークの安定性・塑性ジレンマに対処するために,エントロピーに基づく安定塑性(ESP)を提案する。 当社のアプローチでは,塑性係数を用いて各モデル層をどの程度変更すべきかを動的に決定できる。 場合によっては、トレーニング中にレイヤを凍結することで、トレーニングのスピードアップにつながる場合もある。
  論文  参考訳（メタデータ） (2022-04-18T22:58:49Z)
• Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
  Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。 FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。 私たちのコードは公開されます。
  論文  参考訳（メタデータ） (2022-02-23T18:23:07Z)
• Towards Better Plasticity-Stability Trade-off in Incremental Learning: A simple Linear Connector [8.13916229438606]
  塑性安定性ジレンマはインクリメンタルラーニングの主要な問題である。 本研究では,従来のタスクに対するヌルスペースプロジェクションと,現在のタスクに対する単純なSGDの2つの独立最適化されたネットワークの単純な平均化が,すでに学習した知識の保存と,新しいタスクの学習に十分な柔軟性を付与することとの有意義なバランスを達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-15T07:37:20Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Limited-angle tomographic reconstruction of dense layered objects by dynamical machine learning [68.9515120904028]
  強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。 このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。 我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
  論文  参考訳（メタデータ） (2020-07-21T11:48:22Z)
• Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
  破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。 本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
  論文  参考訳（メタデータ） (2020-06-12T06:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。