論文の概要: Learning to Continually Learn

• arxiv url: http://arxiv.org/abs/2002.09571v2
• Date: Wed, 4 Mar 2020 03:22:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 00:08:50.815598
• Title: Learning to Continually Learn
• Title（参考訳）: 継続的に学ぶことを学ぶ
• Authors: Shawn Beaulieu, Lapo Frati, Thomas Miconi, Joel Lehman, Kenneth O. Stanley, Jeff Clune, Nick Cheney
• Abstract要約: ニューロ変調メタラーニングアルゴリズム(ANML)を提案する。 脳の神経調節過程にインスパイアされた我々は、神経変調メタラーニングアルゴリズム(ANML)を提案する。 ANMLは最先端の継続的学習性能を生成し、600以上のクラスを逐次学習する(9000以上のSGD更新)。
• 参考スコア（独自算出の注目度）: 14.988129334830003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual lifelong learning requires an agent or model to learn many sequentially ordered tasks, building on previous knowledge without catastrophically forgetting it. Much work has gone towards preventing the default tendency of machine learning models to catastrophically forget, yet virtually all such work involves manually-designed solutions to the problem. We instead advocate meta-learning a solution to catastrophic forgetting, allowing AI to learn to continually learn. Inspired by neuromodulatory processes in the brain, we propose A Neuromodulated Meta-Learning Algorithm (ANML). It differentiates through a sequential learning process to meta-learn an activation-gating function that enables context-dependent selective activation within a deep neural network. Specifically, a neuromodulatory (NM) neural network gates the forward pass of another (otherwise normal) neural network called the prediction learning network (PLN). The NM network also thus indirectly controls selective plasticity (i.e. the backward pass of) the PLN. ANML enables continual learning without catastrophic forgetting at scale: it produces state-of-the-art continual learning performance, sequentially learning as many as 600 classes (over 9,000 SGD updates).
• Abstract（参考訳）: 連続的な生涯学習は、エージェントやモデルが、悲惨なほど忘れることなく、過去の知識に基づいて、連続的に順序づけられたタスクを学習する必要がある。 機械学習モデルのデフォルトの傾向が壊滅的に忘れてしまうのを防ぐため、多くの作業が続けられてきた。 メタラーニングは破滅的な忘れ方に対する解決策であり、AIが継続的に学ぶことを可能にします。 脳内の神経調節過程に着想を得て,神経調節メタラーニングアルゴリズム(ANML)を提案する。 シーケンシャルな学習プロセスを通じて、深層ニューラルネットワーク内でコンテキスト依存的な選択的活性化を可能にするアクティベーションゲーティング関数をメタ学習する。 具体的には、ニューロモジュレータ(nm)ニューラルネットワークは、予測学習ネットワーク(pln)と呼ばれる他の(その他の通常の)ニューラルネットワークのフォワードパスをゲートする。 これにより、NMネットワークはPLNの選択的可塑性(すなわち後方通過)を間接的に制御する。 ANMLは、大惨なことを忘れずに連続的な学習を可能にし、最先端の継続的学習パフォーマンスを生成し、600のクラスを逐次学習する(9000以上のSGD更新)。

関連論文リスト

• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Meta-Learning in Spiking Neural Networks with Reward-Modulated STDP [2.179313476241343]
  本研究では,海馬と前頭前皮質にインスパイアされた生物工学的メタラーニングモデルを提案する。 我々の新しいモデルはスパイクベースのニューロモーフィックデバイスに容易に適用でき、ニューロモーフィックハードウェアにおける高速な学習を可能にする。
  論文  参考訳（メタデータ） (2023-06-07T13:08:46Z)
• Neural Routing in Meta Learning [9.070747377130472]
  入力タスクに条件付けされたモデルの部分のみを選択的に使用することにより,現在のメタ学習アルゴリズムのモデル性能を向上させることを目指している。 本稿では、バッチ正規化層におけるスケーリング係数を活用することにより、深層畳み込みニューラルネットワーク(CNN)におけるタスク依存の動的ニューロン選択を研究するアプローチについて述べる。 提案手法であるニューラルルーティング・イン・メタラーニング(NRML)は,数ショットの分類タスクにおいて,既知のメタラーニングベースラインの1つである。
  論文  参考訳（メタデータ） (2022-10-14T16:31:24Z)
• Learning to learn online with neuromodulated synaptic plasticity in spiking neural networks [0.0]
  神経科学からの神経調節性シナプス可塑性のモデルは、勾配降下を通して学習するために訓練可能であることを示す。 このフレームワークは、神経科学にインスパイアされたオンライン学習アルゴリズムを開発するための新しい道を開く。
  論文  参考訳（メタデータ） (2022-06-25T00:28:40Z)
• aSTDP: A More Biologically Plausible Learning [0.0]
  我々は,新しいニューラルネットワーク学習フレームワークSTDPを導入する。 教師なしおよび教師なしの学習にはSTDPルールのみを使用する。 追加設定なしで予測したり、ひとつのモデルでパターンを生成できる。
  論文  参考訳（メタデータ） (2022-05-22T08:12:50Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Online Few-shot Gesture Learning on a Neuromorphic Processor [9.084047904714629]
  ニューロモルフィックプロセッサ上でのオンライン少ショット学習のためのSurrogate-gradient Online Error-Triggered Learning (SOEL)システムを提案する。 SOELはエラーが発生した時にトリガーを起動し、より少ない更新で高速な学習を可能にする。
  論文  参考訳（メタデータ） (2020-08-03T19:39:54Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。