論文の概要: Continual learning under domain transfer with sparse synaptic bursting
- arxiv url: http://arxiv.org/abs/2108.12056v9
- Date: Tue, 16 Jan 2024 18:55:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 22:25:15.034919
- Title: Continual learning under domain transfer with sparse synaptic bursting
- Title（参考訳）: スパースシナプスバーストによるドメイン伝達の連続学習
- Authors: Shawn L. Beaulieu, Jeff Clune, Nick Cheney
- Abstract要約: 我々は、未確認のデータセットを逐次学習するシステムを、時間とともにほとんど忘れずに導入する。
本手法は,タスク間で再資源化される重みのスパースバーストを伴って,ドメイン転送下で連続的に学習する。
- 参考スコア（独自算出の注目度）: 2.314558204145174
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Existing machines are functionally specific tools that were made for easy
prediction and control. Tomorrow's machines may be closer to biological systems
in their mutability, resilience, and autonomy. But first they must be capable
of learning and retaining new information without being exposed to it
arbitrarily often. Past efforts to engineer such systems have sought to build
or regulate artificial neural networks using disjoint sets of weights that are
uniquely sensitive to specific tasks or inputs. This has not yet enabled
continual learning over long sequences of previously unseen data without
corrupting existing knowledge: a problem known as catastrophic forgetting. In
this paper, we introduce a system that can learn sequentially over previously
unseen datasets (ImageNet, CIFAR-100) with little forgetting over time. This is
done by controlling the activity of weights in a convolutional neural network
on the basis of inputs using top-down regulation generated by a second
feed-forward neural network. We find that our method learns continually under
domain transfer with sparse bursts of activity in weights that are recycled
across tasks, rather than by maintaining task-specific modules. Sparse synaptic
bursting is found to balance activity and suppression such that new functions
can be learned without corrupting extant knowledge, thus mirroring the balance
of order and disorder in systems at the edge of chaos. This behavior emerges
during a prior pre-training (or 'meta-learning') phase in which regulated
synapses are selectively disinhibited, or grown, from an initial state of
uniform suppression through prediction error minimization.
- Abstract（参考訳）: 既存のマシンは、予測と制御を簡単にするための機能的に特定のツールである。
明日の機械は、変異性、レジリエンス、自律性において生物学的システムに近いかもしれない。
しかし、まずは、任意の頻度でその情報に触れることなく、新しい情報を学び、保持できなければならない。
このようなシステムを設計しようとする過去には、特定のタスクや入力に独特の感度を持つ重みの非結合セットを使用して、ニューラルネットワークを構築したり、規制したりする試みがあった。
これはまだ、既存の知識を損なうことなく、これまで見つからなかったデータの長いシーケンスを連続的に学習することを可能にしていない。
本稿では,これまで見られなかったデータセット(ImageNet, CIFAR-100)を,時間とともにほとんど忘れずに逐次学習できるシステムを提案する。
これは、第2のフィードフォワードニューラルネットワークによって生成されたトップダウン制御を用いて入力に基づいて畳み込みニューラルネットワークにおける重み付けのアクティビティを制御することによって行われる。
本手法は,タスク固有のモジュールの維持ではなく,タスク間で再利用される重みのスパースバーストを用いて,ドメイン転送下で連続的に学習する。
スパースシナプスバーストは活動と抑制のバランスを保ち、既存の知識を損なうことなく新しい関数を学習できるようにし、カオスの端にある系の秩序と混乱のバランスを反映させる。
この挙動は、制御されたシナプスが予測誤差最小化による一様抑制の初期状態から選択的に阻害または成長される事前訓練(または「メタラーニング」)フェーズ中に現れる。
関連論文リスト
- ELiSe: Efficient Learning of Sequences in Structured Recurrent Networks [1.5931140598271163]
局所的な常時オンおよび位相自由可塑性のみを用いて,効率的な学習シーケンスのモデルを構築した。
鳥の鳴き声学習のモックアップでELiSeの能力を実証し、パラメトリゼーションに関してその柔軟性を実証する。
論文 参考訳（メタデータ） (2024-02-26T17:30:34Z) - Neuro-mimetic Task-free Unsupervised Online Learning with Continual
Self-Organizing Maps [56.827895559823126]
自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。
低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。
MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
論文 参考訳（メタデータ） (2024-02-19T19:11:22Z) - IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。
ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。
IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
論文 参考訳（メタデータ） (2023-06-18T05:26:49Z) - Artificial Neuronal Ensembles with Learned Context Dependent Gating [0.0]
LXDG(Learned Context Dependent Gating)は、人工神経のアンサンブルを柔軟に割り当て、リコールする方法である。
ネットワークの隠れた層におけるアクティビティは、トレーニング中に動的に生成されるゲートによって変調される。
本稿では,この手法が連続学習ベンチマークにおける破滅的な忘れを軽減できることを示す。
論文 参考訳（メタデータ） (2023-01-17T20:52:48Z) - The least-control principle for learning at equilibrium [65.2998274413952]
我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。
私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
論文 参考訳（メタデータ） (2022-07-04T11:27:08Z) - Learning to Modulate Random Weights: Neuromodulation-inspired Neural
Networks For Efficient Continual Learning [1.9580473532948401]
生体神経系における神経調節にインスパイアされた新しいニューラルネットワークアーキテクチャを導入する。
学習可能なパラメータが極めて少ないにもかかわらず,本手法はタスク毎の学習性能が極めて高いことを示す。
論文 参考訳（メタデータ） (2022-04-08T21:12:13Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳（メタデータ） (2021-12-09T07:11:14Z) - Towards self-organized control: Using neural cellular automata to
robustly control a cart-pole agent [62.997667081978825]
我々は、カートポールエージェントを制御するために、ニューラルセルオートマトンを使用する。
我々は、Q値の推定値として出力セルの状態を用いる深層学習を用いてモデルを訓練した。
論文 参考訳（メタデータ） (2021-06-29T10:49:42Z) - Learning to Continually Learn [14.988129334830003]
ニューロ変調メタラーニングアルゴリズム(ANML)を提案する。
脳の神経調節過程にインスパイアされた我々は、神経変調メタラーニングアルゴリズム(ANML)を提案する。
ANMLは最先端の継続的学習性能を生成し、600以上のクラスを逐次学習する(9000以上のSGD更新)。
論文 参考訳（メタデータ） (2020-02-21T22:52:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。