論文の概要: Meta-learning Spiking Neural Networks with Surrogate Gradient Descent
- arxiv url: http://arxiv.org/abs/2201.10777v1
- Date: Wed, 26 Jan 2022 06:53:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-01-27 14:04:54.946237
- Title: Meta-learning Spiking Neural Networks with Surrogate Gradient Descent
- Title（参考訳）: サロゲートグラディエントDescentを用いたメタラーニングスパイクニューラルネットワーク
- Authors: Kenneth Stewart, Emre Neftci
- Abstract要約: メタ学習のような二段階学習は、制限を克服するためにディープラーニングでますます使われている。
我々は,MAMLを用いたSNNのメタトレーニングが,イベントベースメタデータ上でMAMLでトレーニングされた従来のANNのパフォーマンスを上回ることを示す。
本研究では,メタラーニング技術が,実世界の問題にニューロモルフィック学習技術の展開にどのように役立つかを強調した。
- 参考スコア（独自算出の注目度）: 1.90365714903665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adaptive "life-long" learning at the edge and during online task performance
is an aspirational goal of AI research. Neuromorphic hardware implementing
Spiking Neural Networks (SNNs) are particularly attractive in this regard, as
their real-time, event-based, local computing paradigm makes them suitable for
edge implementations and fast learning. However, the long and iterative
learning that characterizes state-of-the-art SNN training is incompatible with
the physical nature and real-time operation of neuromorphic hardware. Bi-level
learning, such as meta-learning is increasingly used in deep learning to
overcome these limitations. In this work, we demonstrate gradient-based
meta-learning in SNNs using the surrogate gradient method that approximates the
spiking threshold function for gradient estimations. Because surrogate
gradients can be made twice differentiable, well-established, and effective
second-order gradient meta-learning methods such as Model Agnostic Meta
Learning (MAML) can be used. We show that SNNs meta-trained using MAML match or
exceed the performance of conventional ANNs meta-trained with MAML on
event-based meta-datasets. Furthermore, we demonstrate the specific advantages
that accrue from meta-learning: fast learning without the requirement of high
precision weights or gradients. Our results emphasize how meta-learning
techniques can become instrumental for deploying neuromorphic learning
technologies on real-world problems.
- Abstract（参考訳）: エッジおよびオンラインタスクパフォーマンスにおける適応的な"ライフロング"学習は、AI研究の野心的な目標である。
Spiking Neural Networks(SNN)を実装するニューロモルフィックハードウェアは、リアルタイム、イベントベース、ローカルコンピューティングパラダイムがエッジ実装や高速学習に適しているため、この点において特に魅力的である。
しかし、最先端のSNNトレーニングを特徴付ける長く反復的な学習は、ニューロモルフィックハードウェアの物理的性質とリアルタイム操作とは相容れない。
メタ学習のような二段階学習は、これらの制限を克服するために、ディープラーニングでますます使われている。
本研究では, 勾配推定のためのスパイキングしきい値関数を近似した代理勾配法を用いて, SNNにおける勾配に基づくメタラーニングを実証する。
シュロゲート勾配は、モデル非依存メタラーニング (MAML) のような2階勾配メタラーニング手法を2回微分可能、確立可能、効果的に利用することができる。
我々は,MAMLを用いたSNNのメタトレーニングが,イベントベースメタデータ上でMAMLでトレーニングされた従来のANNのパフォーマンスを上回ることを示す。
さらに,高精度の重みや勾配を必要とせず,高速な学習を実現するというメタラーニングの特長を実証する。
本研究では,メタラーニング技術が,実世界の問題にニューロモルフィック学習技術の展開にどのように役立つかを強調した。
関連論文リスト
- Neural Routing in Meta Learning [9.070747377130472]
入力タスクに条件付けされたモデルの部分のみを選択的に使用することにより,現在のメタ学習アルゴリズムのモデル性能を向上させることを目指している。
本稿では、バッチ正規化層におけるスケーリング係数を活用することにより、深層畳み込みニューラルネットワーク(CNN)におけるタスク依存の動的ニューロン選択を研究するアプローチについて述べる。
提案手法であるニューラルルーティング・イン・メタラーニング(NRML)は,数ショットの分類タスクにおいて,既知のメタラーニングベースラインの1つである。
論文 参考訳（メタデータ） (2022-10-14T16:31:24Z) - Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。
SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。
我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
論文 参考訳（メタデータ） (2022-10-11T06:45:15Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。
学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。
本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
論文 参考訳（メタデータ） (2022-03-02T22:35:58Z) - Can we learn gradients by Hamiltonian Neural Networks? [68.8204255655161]
本稿では,勾配を学習するODEニューラルネットワークに基づくメタラーナを提案する。
提案手法は,LLUアクティベーションを最適化したMLMとMNISTデータセットにおいて,LSTMに基づくメタラーナーよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-10-31T18:35:10Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳（メタデータ） (2021-02-07T20:53:23Z) - B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic
Meta-Learning [2.9189409618561966]
本稿では,b-smallアルゴリズムと呼ぶベイズ型ニューラルネットワークに基づくmamlアルゴリズムを提案する。
分類タスクと回帰タスクを用いたB-MAMLのパフォーマンスを実証し、MDLを用いたスパーシファイングBNNのトレーニングがモデルのパラメータフットプリントを実際に改善することを強調した。
論文 参考訳（メタデータ） (2021-01-01T09:19:48Z) - La-MAML: Look-ahead Meta Learning for Continual Learning [14.405620521842621]
オンライン連続学習のための高速最適化に基づくメタ学習アルゴリズムであるLook-ahead MAML(La-MAML)を提案する。
La-MAMLは他のリプレイベース、事前ベース、メタラーニングベースアプローチよりも優れたパフォーマンスを実現し、実世界の視覚分類ベンチマークで連続学習を行う。
論文 参考訳（メタデータ） (2020-07-27T23:07:01Z) - Neuromodulated Neural Architectures with Local Error Signals for
Memory-Constrained Online Continual Learning [4.2903672492917755]
我々は,局所学習とニューロ変調を取り入れた,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。
一つの課題と連続的な学習環境の両方にアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2020-07-16T07:41:23Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。