論文の概要: Meta-Learning in Spiking Neural Networks with Reward-Modulated STDP
- arxiv url: http://arxiv.org/abs/2306.04410v1
- Date: Wed, 7 Jun 2023 13:08:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-08 14:19:36.954077
- Title: Meta-Learning in Spiking Neural Networks with Reward-Modulated STDP
- Title(参考訳): 逆変調STDPを用いたスパイクニューラルネットワークのメタラーニング
- Authors: Arsham Gholamzadeh Khoee, Alireza Javaheri, Saeed Reza Kheradpisheh
and Mohammad Ganjtabesh
- Abstract要約: 本研究では,海馬と前頭前皮質にインスパイアされた生物工学的メタラーニングモデルを提案する。
我々の新しいモデルはスパイクベースのニューロモーフィックデバイスに容易に適用でき、ニューロモーフィックハードウェアにおける高速な学習を可能にする。
- 参考スコア(独自算出の注目度): 2.179313476241343
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The human brain constantly learns and rapidly adapts to new situations by
integrating acquired knowledge and experiences into memory. Developing this
capability in machine learning models is considered an important goal of AI
research since deep neural networks perform poorly when there is limited data
or when they need to adapt quickly to new unseen tasks. Meta-learning models
are proposed to facilitate quick learning in low-data regimes by employing
absorbed information from the past. Although some models have recently been
introduced that reached high-performance levels, they are not biologically
plausible. We have proposed a bio-plausible meta-learning model inspired by the
hippocampus and the prefrontal cortex using spiking neural networks with a
reward-based learning system. Our proposed model includes a memory designed to
prevent catastrophic forgetting, a phenomenon that occurs when meta-learning
models forget what they have learned as soon as the new task begins. Also, our
new model can easily be applied to spike-based neuromorphic devices and enables
fast learning in neuromorphic hardware. The final analysis will discuss the
implications and predictions of the model for solving few-shot classification
tasks. In solving these tasks, our model has demonstrated the ability to
compete with the existing state-of-the-art meta-learning techniques.
- Abstract(参考訳): 人間の脳は常に学習し、獲得した知識と経験を記憶に統合することで新しい状況に迅速に適応する。
この能力を機械学習モデルで開発することは、ディープニューラルネットワークが限られたデータがある場合や、新しい目に見えないタスクに迅速に適応する必要がある場合など、AI研究の重要な目標であると考えられている。
メタラーニングモデルは、過去から吸収された情報を利用することで、低データ体制での迅速な学習を容易にするために提案されている。
近年、高性能レベルに達するモデルがいくつか導入されているが、生物学的には不可能である。
本研究では,報奨型学習システムを用いたスパイキングニューラルネットワークを用いて,海馬と前頭前野に触発された生体感性メタラーニングモデルを提案する。
提案モデルでは,メタラーニングモデルが新たなタスクの開始と同時に学習したことを忘れてしまう現象である,破滅的忘れを防止するためのメモリを含む。
また,この新しいモデルはスパイクベースのニューロモルフィックデバイスに容易に適用でき,ニューロモルフィックハードウェアでの高速学習を可能にする。
最終分析では,限定的な分類課題を解決するためのモデルの意義と予測について論じる。
これらの課題を解決する上で,本モデルは,既存の最先端のメタ学習技術と競合する能力を示した。
関連論文リスト
- A Survey on Knowledge Editing of Neural Networks [46.42502573973257]
最大の人工ニューラルネットワークでさえ間違いを犯し、世界が時間とともに進むにつれて、一度修正された予測が無効になる可能性がある。
知識編集は、訓練済みのターゲットモデルに対する信頼性、データ効率、迅速な変更の実現を目的とした、新しい研究分野として浮上している。
まず、ニューラルネットワークの編集の問題を紹介し、それを共通のフレームワークで形式化し、継続的学習のような悪名高い研究分野と区別する。
論文 参考訳(メタデータ) (2023-10-30T16:29:47Z) - Unsupervised Spiking Neural Network Model of Prefrontal Cortex to study
Task Switching with Synaptic deficiency [0.0]
スパイキングニューラルネットワーク(SNN)を用いた前頭前皮質(PFC)の計算モデルを構築した。
本研究では,SNNが生物学的に妥当な値に近いパラメータを持ち,教師なしのスパイクタイミング依存塑性(STDP)学習規則を用いてモデルを訓練する。
論文 参考訳(メタデータ) (2023-05-23T05:59:54Z) - Neural Routing in Meta Learning [9.070747377130472]
入力タスクに条件付けされたモデルの部分のみを選択的に使用することにより,現在のメタ学習アルゴリズムのモデル性能を向上させることを目指している。
本稿では、バッチ正規化層におけるスケーリング係数を活用することにより、深層畳み込みニューラルネットワーク(CNN)におけるタスク依存の動的ニューロン選択を研究するアプローチについて述べる。
提案手法であるニューラルルーティング・イン・メタラーニング(NRML)は,数ショットの分類タスクにおいて,既知のメタラーニングベースラインの1つである。
論文 参考訳(メタデータ) (2022-10-14T16:31:24Z) - Continual Learning with Bayesian Model based on a Fixed Pre-trained
Feature Extractor [55.9023096444383]
現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。
人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
論文 参考訳(メタデータ) (2022-04-28T08:41:51Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳(メタデータ) (2022-02-21T18:59:03Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳(メタデータ) (2021-12-09T07:11:14Z) - Neuronal Learning Analysis using Cycle-Consistent Adversarial Networks [4.874780144224057]
我々は、-CycleGANと呼ばれる深層生成モデルを用いて、前学習と後学習の神経活動の間の未知のマッピングを学習する。
我々は,カルシウム蛍光信号を前処理し,訓練し,評価するためのエンドツーエンドパイプラインを開発し,その結果の深層学習モデルを解釈する手法を開発した。
論文 参考訳(メタデータ) (2021-11-25T13:24:19Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳(メタデータ) (2021-09-20T15:12:16Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - On the Evolution of Neuron Communities in a Deep Learning Architecture [0.7106986689736827]
本稿では,ディープラーニングに基づく分類モデルのニューロン活性化パターンについて検討する。
コミュニティの品質(モジュラリティ)とエントロピーの両方が、ディープラーニングモデルのパフォーマンスと密接に関連していることを示す。
論文 参考訳(メタデータ) (2021-06-08T21:09:55Z) - The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。
現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文 参考訳(メタデータ) (2020-03-04T17:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。