論文の概要: Continual learning under domain transfer with sparse synaptic bursting
- arxiv url: http://arxiv.org/abs/2108.12056v1
- Date: Thu, 26 Aug 2021 22:53:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-30 14:25:52.515999
- Title: Continual learning under domain transfer with sparse synaptic bursting
- Title（参考訳）: スパースシナプスバーストによるドメイン伝達の連続学習
- Authors: Shawn L. Beaulieu, Jeff Clune, Nick Cheney
- Abstract要約: 我々は、未確認のデータセットを逐次学習するシステムを、時間とともにほとんど忘れずに導入する。
本手法は,タスク間で再資源化される重みのスパースバーストを伴って,ドメイン転送下で連続的に学習する。
- 参考スコア（独自算出の注目度）: 6.179968065751334
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Existing machines are functionally specific tools that were made for easy
prediction and control. Tomorrow's machines may be closer to biological systems
in their mutability, resilience, and autonomy. But first they must be capable
of learning, and retaining, new information without repeated exposure to it.
Past efforts to engineer such systems have sought to build or regulate
artificial neural networks using task-specific modules with constrained
circumstances of application. This has not yet enabled continual learning over
long sequences of previously unseen data without corrupting existing knowledge:
a problem known as catastrophic forgetting. In this paper, we introduce a
system that can learn sequentially over previously unseen datasets (ImageNet,
CIFAR-100) with little forgetting over time. This is accomplished by regulating
the activity of weights in a convolutional neural network on the basis of
inputs using top-down modulation generated by a second feed-forward neural
network. We find that our method learns continually under domain transfer with
sparse bursts of activity in weights that are recycled across tasks, rather
than by maintaining task-specific modules. Sparse synaptic bursting is found to
balance enhanced and diminished activity in a way that facilitates adaptation
to new inputs without corrupting previously acquired functions. This behavior
emerges during a prior meta-learning phase in which regulated synapses are
selectively disinhibited, or grown, from an initial state of uniform
suppression.
- Abstract（参考訳）: 既存のマシンは、予測と制御を簡単にするための機能的に特定のツールである。
明日の機械は、変異性、レジリエンス、自律性において生物学的システムに近いかもしれない。
しかし、まずは、繰り返し露出することなく新しい情報を学習し、保持しなければなりません。
このようなシステムを設計するための過去の取り組みは、制約のあるアプリケーション状況でタスク固有のモジュールを使用して、人工ニューラルネットワークを構築し、規制しようとしてきた。
これはまだ、既存の知識を損なうことなく、これまで見つからなかったデータの長いシーケンスを連続的に学習することを可能にしていない。
本稿では,これまで見られなかったデータセット(ImageNet, CIFAR-100)を,時間とともにほとんど忘れずに逐次学習できるシステムを提案する。
これは、第2フィードフォワードニューラルネットワークによって生成されたトップダウン変調を用いて入力に基づいて畳み込みニューラルネットワークにおける重みの活性を調節することによって達成される。
本手法は,タスク固有のモジュールの維持ではなく,タスク間で再利用される重みのスパースバーストを用いて,ドメイン転送下で連続的に学習する。
スパースシナプスバーストは、以前獲得した関数を破損させることなく、新しい入力への適応を容易にする方法で強化および縮小されたアクティビティのバランスをとる。
この挙動は、制御されたシナプスが一様抑制の初期状態から選択的に阻害または成長される事前のメタ学習フェーズ中に現れる。
関連論文リスト
- ELiSe: Efficient Learning of Sequences in Structured Recurrent Networks [1.5931140598271163]
局所的な常時オンおよび位相自由可塑性のみを用いて,効率的な学習シーケンスのモデルを構築した。
鳥の鳴き声学習のモックアップでELiSeの能力を実証し、パラメトリゼーションに関してその柔軟性を実証する。
論文 参考訳（メタデータ） (2024-02-26T17:30:34Z) - Neuro-mimetic Task-free Unsupervised Online Learning with Continual
Self-Organizing Maps [56.827895559823126]
自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。
低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。
MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
論文 参考訳（メタデータ） (2024-02-19T19:11:22Z) - IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。
ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。
IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
論文 参考訳（メタデータ） (2023-06-18T05:26:49Z) - Artificial Neuronal Ensembles with Learned Context Dependent Gating [0.0]
LXDG(Learned Context Dependent Gating)は、人工神経のアンサンブルを柔軟に割り当て、リコールする方法である。
ネットワークの隠れた層におけるアクティビティは、トレーニング中に動的に生成されるゲートによって変調される。
本稿では,この手法が連続学習ベンチマークにおける破滅的な忘れを軽減できることを示す。
論文 参考訳（メタデータ） (2023-01-17T20:52:48Z) - The least-control principle for learning at equilibrium [65.2998274413952]
我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。
私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
論文 参考訳（メタデータ） (2022-07-04T11:27:08Z) - Learning to Modulate Random Weights: Neuromodulation-inspired Neural
Networks For Efficient Continual Learning [1.9580473532948401]
生体神経系における神経調節にインスパイアされた新しいニューラルネットワークアーキテクチャを導入する。
学習可能なパラメータが極めて少ないにもかかわらず,本手法はタスク毎の学習性能が極めて高いことを示す。
論文 参考訳（メタデータ） (2022-04-08T21:12:13Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳（メタデータ） (2021-12-09T07:11:14Z) - Towards self-organized control: Using neural cellular automata to
robustly control a cart-pole agent [62.997667081978825]
我々は、カートポールエージェントを制御するために、ニューラルセルオートマトンを使用する。
我々は、Q値の推定値として出力セルの状態を用いる深層学習を用いてモデルを訓練した。
論文 参考訳（メタデータ） (2021-06-29T10:49:42Z) - Learning to Continually Learn [14.988129334830003]
ニューロ変調メタラーニングアルゴリズム(ANML)を提案する。
脳の神経調節過程にインスパイアされた我々は、神経変調メタラーニングアルゴリズム(ANML)を提案する。
ANMLは最先端の継続的学習性能を生成し、600以上のクラスを逐次学習する(9000以上のSGD更新)。
論文 参考訳（メタデータ） (2020-02-21T22:52:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。