論文の概要: Meta-Learning in Spiking Neural Networks with Reward-Modulated STDP
- arxiv url: http://arxiv.org/abs/2306.04410v1
- Date: Wed, 7 Jun 2023 13:08:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-08 14:19:36.954077
- Title: Meta-Learning in Spiking Neural Networks with Reward-Modulated STDP
- Title（参考訳）: 逆変調STDPを用いたスパイクニューラルネットワークのメタラーニング
- Authors: Arsham Gholamzadeh Khoee, Alireza Javaheri, Saeed Reza Kheradpisheh
and Mohammad Ganjtabesh
- Abstract要約: 本研究では,海馬と前頭前皮質にインスパイアされた生物工学的メタラーニングモデルを提案する。
我々の新しいモデルはスパイクベースのニューロモーフィックデバイスに容易に適用でき、ニューロモーフィックハードウェアにおける高速な学習を可能にする。
- 参考スコア（独自算出の注目度）: 2.179313476241343
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The human brain constantly learns and rapidly adapts to new situations by
integrating acquired knowledge and experiences into memory. Developing this
capability in machine learning models is considered an important goal of AI
research since deep neural networks perform poorly when there is limited data
or when they need to adapt quickly to new unseen tasks. Meta-learning models
are proposed to facilitate quick learning in low-data regimes by employing
absorbed information from the past. Although some models have recently been
introduced that reached high-performance levels, they are not biologically
plausible. We have proposed a bio-plausible meta-learning model inspired by the
hippocampus and the prefrontal cortex using spiking neural networks with a
reward-based learning system. Our proposed model includes a memory designed to
prevent catastrophic forgetting, a phenomenon that occurs when meta-learning
models forget what they have learned as soon as the new task begins. Also, our
new model can easily be applied to spike-based neuromorphic devices and enables
fast learning in neuromorphic hardware. The final analysis will discuss the
implications and predictions of the model for solving few-shot classification
tasks. In solving these tasks, our model has demonstrated the ability to
compete with the existing state-of-the-art meta-learning techniques.
- Abstract（参考訳）: 人間の脳は常に学習し、獲得した知識と経験を記憶に統合することで新しい状況に迅速に適応する。
この能力を機械学習モデルで開発することは、ディープニューラルネットワークが限られたデータがある場合や、新しい目に見えないタスクに迅速に適応する必要がある場合など、AI研究の重要な目標であると考えられている。
メタラーニングモデルは、過去から吸収された情報を利用することで、低データ体制での迅速な学習を容易にするために提案されている。
近年、高性能レベルに達するモデルがいくつか導入されているが、生物学的には不可能である。
本研究では,報奨型学習システムを用いたスパイキングニューラルネットワークを用いて,海馬と前頭前野に触発された生体感性メタラーニングモデルを提案する。
提案モデルでは,メタラーニングモデルが新たなタスクの開始と同時に学習したことを忘れてしまう現象である,破滅的忘れを防止するためのメモリを含む。
また,この新しいモデルはスパイクベースのニューロモルフィックデバイスに容易に適用でき,ニューロモルフィックハードウェアでの高速学習を可能にする。
最終分析では,限定的な分類課題を解決するためのモデルの意義と予測について論じる。
これらの課題を解決する上で,本モデルは,既存の最先端のメタ学習技術と競合する能力を示した。
関連論文リスト
- Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。
このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
論文 参考訳（メタデータ） (2024-06-07T08:32:30Z) - Learning-to-learn enables rapid learning with phase-change memory-based in-memory computing [38.34244217803562]
低消費電力で自律的に学習する人工知能(AI)システムに対する需要は、エッジに適用でき、デプロイメントサイトの特定の状況に迅速に適応できる。
本研究では、L2Lとインメモリコンピューティングニューロモルフィックハードウェアを組み合わせ、新しいタスクに迅速に適応できる効率的なAIモデルを構築する。
画像分類を行う畳み込みニューラルネットワークと、本物のロボットアームのモーターコマンドを生成する生物学的にインスパイアされたスパイクニューラルネットワークの2つのシナリオで、我々のアプローチの汎用性を実証する。
論文 参考訳（メタデータ） (2024-04-22T15:03:46Z) - A Survey on Knowledge Editing of Neural Networks [43.813073385305806]
最大の人工ニューラルネットワークでさえ間違いを犯し、世界が時間とともに進むにつれて、一度修正された予測が無効になる可能性がある。
知識編集は、訓練済みのターゲットモデルに対する信頼性、データ効率、迅速な変更の実現を目的とした、新しい研究分野として浮上している。
まず、ニューラルネットワークの編集の問題を紹介し、それを共通のフレームワークで形式化し、継続的学習のような悪名高い研究分野と区別する。
論文 参考訳（メタデータ） (2023-10-30T16:29:47Z) - Neural Routing in Meta Learning [9.070747377130472]
入力タスクに条件付けされたモデルの部分のみを選択的に使用することにより,現在のメタ学習アルゴリズムのモデル性能を向上させることを目指している。
本稿では、バッチ正規化層におけるスケーリング係数を活用することにより、深層畳み込みニューラルネットワーク(CNN)におけるタスク依存の動的ニューロン選択を研究するアプローチについて述べる。
提案手法であるニューラルルーティング・イン・メタラーニング(NRML)は,数ショットの分類タスクにおいて,既知のメタラーニングベースラインの1つである。
論文 参考訳（メタデータ） (2022-10-14T16:31:24Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳（メタデータ） (2022-02-21T18:59:03Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳（メタデータ） (2021-12-09T07:11:14Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - On the Evolution of Neuron Communities in a Deep Learning Architecture [0.7106986689736827]
本稿では,ディープラーニングに基づく分類モデルのニューロン活性化パターンについて検討する。
コミュニティの品質(モジュラリティ)とエントロピーの両方が、ディープラーニングモデルのパフォーマンスと密接に関連していることを示す。
論文 参考訳（メタデータ） (2021-06-08T21:09:55Z) - The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。
現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文 参考訳（メタデータ） (2020-03-04T17:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。