論文の概要: Learning to Modulate Random Weights: Neuromodulation-inspired Neural
Networks For Efficient Continual Learning
- arxiv url: http://arxiv.org/abs/2204.04297v2
- Date: Mon, 9 Oct 2023 19:09:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 17:02:10.361822
- Title: Learning to Modulate Random Weights: Neuromodulation-inspired Neural
Networks For Efficient Continual Learning
- Title（参考訳）: ランダムウェイトを変調する学習: 神経変調にインスパイアされたニューラルネットワークによる効率的な連続学習
- Authors: Jinyung Hong and Theodore P. Pavlic
- Abstract要約: 生体神経系における神経調節にインスパイアされた新しいニューラルネットワークアーキテクチャを導入する。
学習可能なパラメータが極めて少ないにもかかわらず,本手法はタスク毎の学習性能が極めて高いことを示す。
- 参考スコア（独自算出の注目度）: 1.9580473532948401
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Existing Continual Learning (CL) approaches have focused on addressing
catastrophic forgetting by leveraging regularization methods, replay buffers,
and task-specific components. However, realistic CL solutions must be shaped
not only by metrics of catastrophic forgetting but also by computational
efficiency and running time. Here, we introduce a novel neural network
architecture inspired by neuromodulation in biological nervous systems to
economically and efficiently address catastrophic forgetting and provide new
avenues for interpreting learned representations. Neuromodulation is a
biological mechanism that has received limited attention in machine learning;
it dynamically controls and fine tunes synaptic dynamics in real time to track
the demands of different behavioral contexts. Inspired by this, our proposed
architecture learns a relatively small set of parameters per task context that
\emph{neuromodulates} the activity of unchanging, randomized weights that
transform the input. We show that this approach has strong learning performance
per task despite the very small number of learnable parameters. Furthermore,
because context vectors are so compact, multiple networks can be stored
concurrently with no interference and little spatial footprint, thus completely
eliminating catastrophic forgetting and accelerating the training process.
- Abstract（参考訳）: 既存の継続学習(CL)アプローチは、正規化メソッド、リプレイバッファ、タスク固有のコンポーネントを活用することで破滅的な忘れに対処することに焦点を当てている。
しかし、現実的なCLソリューションは破滅的な忘れの指標だけでなく、計算効率と実行時間によっても形成されなければならない。
本稿では,生物神経系における神経調節にインスパイアされた新しいニューラルネットワークアーキテクチャを導入し,破滅的な忘れを経済的かつ効率的に解決し,学習表現を解釈するための新たな方法を提案する。
ニューロモジュレーション(neuromodulation)は、機械学習において限られた注目を集めている生物学的メカニズムであり、異なる行動コンテキストの要求を追跡するために、リアルタイムでシナプス力学を動的に制御し、微調整する。
提案するアーキテクチャは,タスクコンテキスト毎に比較的小さなパラメータセットを学習し,入力を変換する不変でランダムな重み付けのアクティビティを \emph{neuromodulates} する。
学習可能なパラメータが極めて少ないにもかかわらず,このアプローチはタスク毎に強い学習性能を示す。
さらに、コンテキストベクトルは非常にコンパクトであるため、干渉や空間的フットプリントの少ない複数のネットワークを同時に保存することができるため、壊滅的な忘れ忘れとトレーニングプロセスの加速を完全に排除できる。
関連論文リスト
- Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning [38.09011520275557]
クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに、非定常データストリームから新しいクラスを学ぶためのモデルをトレーニングすることを目的としている。
本稿では、ニューラルネットワークの動作をCILに適応させるニューラルネットワークユニットダイナミクスを調整し、新しい種類のコネクショナリストモデルを提案する。
論文 参考訳（メタデータ） (2024-06-04T15:47:03Z) - Activity Sparsity Complements Weight Sparsity for Efficient RNN
Inference [2.0822643340897273]
本研究では、繰り返しニューラルネットワークモデルにおいて、活動空間がパラメータ空間と乗算的に構成可能であることを示す。
私たちはPenn Treebank言語モデリングタスクで60ドル以下の難易度を維持しながら、最大20ドルまで計算の削減を実現しています。
論文 参考訳（メタデータ） (2023-11-13T08:18:44Z) - NeuralFastLAS: Fast Logic-Based Learning from Raw Data [54.938128496934695]
シンボリック・ルール学習者は解釈可能な解を生成するが、入力を記号的に符号化する必要がある。
ニューロシンボリックアプローチは、ニューラルネットワークを使用して生データを潜在シンボリック概念にマッピングすることで、この問題を克服する。
我々は,ニューラルネットワークを記号学習者と共同でトレーニングする,スケーラブルで高速なエンドツーエンドアプローチであるNeuralFastLASを紹介する。
論文 参考訳（メタデータ） (2023-10-08T12:33:42Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳（メタデータ） (2021-12-09T07:11:14Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z) - Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning [11.781094547718595]
複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。
我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
論文 参考訳（メタデータ） (2021-04-21T18:23:31Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳（メタデータ） (2020-11-12T06:06:33Z) - Brain-Inspired Learning on Neuromorphic Substrates [5.279475826661643]
本稿では、ニューロモルフィック基板のための実用的なオンライン学習アルゴリズムの設計のための数学的枠組みを提供する。
具体的には、リアルタイムリカレントラーニング(RTRL)と、スパイキングニューラルネットワーク(SNN)をトレーニングするための生物学的に妥当な学習規則との直接的な関連を示す。
我々はブロック対角ジャコビアンに基づくスパース近似を動機付け、アルゴリズムの計算複雑性を低減する。
論文 参考訳（メタデータ） (2020-10-22T17:56:59Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳（メタデータ） (2020-06-29T08:35:49Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳（メタデータ） (2020-05-05T14:16:54Z) - Structural plasticity on an accelerated analog neuromorphic hardware
system [0.46180371154032884]
我々は, プレ・グポストシナプスのパートナーを常に切り替えることにより, 構造的可塑性を達成するための戦略を提案する。
我々はこのアルゴリズムをアナログニューロモルフィックシステムBrainScaleS-2に実装した。
ネットワークトポロジを最適化する能力を示し、簡単な教師付き学習シナリオで実装を評価した。
論文 参考訳（メタデータ） (2019-12-27T10:15:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。