論文の概要: NISPA: Neuro-Inspired Stability-Plasticity Adaptation for Continual Learning in Sparse Networks

• arxiv url: http://arxiv.org/abs/2206.09117v1
• Date: Sat, 18 Jun 2022 04:56:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-26 13:29:37.180818
• Title: NISPA: Neuro-Inspired Stability-Plasticity Adaptation for Continual Learning in Sparse Networks
• Title（参考訳）: NISPA: スパースネットワークにおける連続学習のための神経誘発安定確率適応
• Authors: Mustafa Burak Gurbuz and Constantine Dovrolis
• Abstract要約: NISPAアーキテクチャは、学習した知識を古いタスクから保存するために安定した経路を形成する。 NISPAは最先端の継続的学習ベースラインを大幅に上回っている。
• 参考スコア（独自算出の注目度）: 6.205922305859479
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The goal of continual learning (CL) is to learn different tasks over time. The main desiderata associated with CL are to maintain performance on older tasks, leverage the latter to improve learning of future tasks, and to introduce minimal overhead in the training process (for instance, to not require a growing model or retraining). We propose the Neuro-Inspired Stability-Plasticity Adaptation (NISPA) architecture that addresses these desiderata through a sparse neural network with fixed density. NISPA forms stable paths to preserve learned knowledge from older tasks. Also, NISPA uses connection rewiring to create new plastic paths that reuse existing knowledge on novel tasks. Our extensive evaluation on EMNIST, FashionMNIST, CIFAR10, and CIFAR100 datasets shows that NISPA significantly outperforms representative state-of-the-art continual learning baselines, and it uses up to ten times fewer learnable parameters compared to baselines. We also make the case that sparsity is an essential ingredient for continual learning. The NISPA code is available at https://github.com/BurakGurbuz97/NISPA.
• Abstract（参考訳）: 継続学習(CL)の目標は、時間とともに異なるタスクを学習することである。 clに関連する主なデシデラタは、古いタスクのパフォーマンスを維持し、後者を利用して将来のタスクの学習を改善し、トレーニングプロセスに最小限のオーバーヘッドを導入することである(例えば、成長したモデルや再トレーニングを必要としない)。 固定密度のスパースニューラルネットワークを用いてこれらのデシラタに対処するニューロインスパイアされた安定度適応(NISPA)アーキテクチャを提案する。 NISPAは、学習した知識を古いタスクから保存するために安定した経路を形成する。 また、nispaはコネクションリワイリングを使用して新しいプラスチックパスを作成し、新しいタスクで既存の知識を再利用する。 EMNIST, FashionMNIST, CIFAR10, CIFAR100データセットに対する広範な評価は, NISPAが最先端の学習ベースラインを著しく上回り, ベースラインに比べて学習可能なパラメータが最大10倍少ないことを示している。 また,空間が継続的な学習に欠かせない要素であることを示す。 NISPAコードはhttps://github.com/BurakGurbuz97/NISPAで入手できる。

関連論文リスト

• Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
  C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。 C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。 提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-14T17:40:40Z)
• Improving Representational Continuity via Continued Pretraining [76.29171039601948]
  トランスファーラーニングコミュニティ(LP-FT)は、ナイーブトレーニングやその他の継続的な学習方法よりも優れている。 LP-FTは、リアルタイム衛星リモートセンシングデータセット(FMoW)における忘れを減らす。 LP-FTの変種は、NLP連続学習ベンチマークで最先端の精度を得る。
  論文  参考訳（メタデータ） (2023-02-26T10:39:38Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Center Loss Regularization for Continual Learning [0.0]
  一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。 提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。 提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
  論文  参考訳（メタデータ） (2021-10-21T17:46:44Z)
• Iterative Network Pruning with Uncertainty Regularization for Lifelong Sentiment Classification [25.13885692629219]
  ディープラーニングにとって、生涯学習は簡単ではない。 本稿では,生涯的感情分類のための不確実性正則化手法を用いた新しい反復型ネットワークプルーニングを提案する。
  論文  参考訳（メタデータ） (2021-06-21T15:34:13Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Neuroevolutionary Transfer Learning of Deep Recurrent Neural Networks through Network-Aware Adaptation [57.46377517266827]
  本研究はN-ASTL(Network-Aware Adaptive Structure Transfer Learning)を導入する。 N-ASTLは、ソースネットワークのトポロジと重み分布に関する統計情報を利用して、新しい入力ニューロンと出力ニューロンが既存の構造にどのように統合されるかを伝える。 結果は、これまで不可能だった現実世界のデータセットを転送する機能など、従来の最先端よりも改善されていることを示している。
  論文  参考訳（メタデータ） (2020-06-04T06:07:30Z)
• Continual Learning Using Multi-view Task Conditional Neural Networks [6.27221711890162]
  従来のディープラーニングモデルは、複数のタスクを逐次学習する能力に制限がある。 再帰的なタスクを事前に知る必要のないマルチビュータスク条件ニューラルネットワーク(Mv-TCNN)を提案する。
  論文  参考訳（メタデータ） (2020-05-08T01:03:30Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。