論文の概要: Fast On-Device Adaptation for Spiking Neural Networks via Online-Within-Online Meta-Learning

• arxiv url: http://arxiv.org/abs/2103.03901v1
• Date: Sun, 21 Feb 2021 04:28:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-05 00:42:49.218282
• Title: Fast On-Device Adaptation for Spiking Neural Networks via Online-Within-Online Meta-Learning
• Title（参考訳）: オンラインオンラインメタ学習によるスパイキングニューラルネットワークの高速オンデバイス適応
• Authors: Bleema Rosenfeld, Bipin Rajendran, Osvaldo Simeone
• Abstract要約: Spiking Neural Networks(SNN)は、デバイス上のエッジインテリジェンスのための機械学習モデルとして最近人気を集めている。 本稿では, OWOML-SNN と呼ばれる SNN のオンラインメタ学習ルールを提案する。
• 参考スコア（独自算出の注目度）: 31.78005607111787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) have recently gained popularity as machine learning models for on-device edge intelligence for applications such as mobile healthcare management and natural language processing due to their low power profile. In such highly personalized use cases, it is important for the model to be able to adapt to the unique features of an individual with only a minimal amount of training data. Meta-learning has been proposed as a way to train models that are geared towards quick adaptation to new tasks. The few existing meta-learning solutions for SNNs operate offline and require some form of backpropagation that is incompatible with the current neuromorphic edge-devices. In this paper, we propose an online-within-online meta-learning rule for SNNs termed OWOML-SNN, that enables lifelong learning on a stream of tasks, and relies on local, backprop-free, nested updates.
• Abstract（参考訳）: Spiking Neural Networks(SNN)は、モバイルヘルスケア管理や自然言語処理などのアプリケーションのためのデバイス上でのエッジインテリジェンスのための機械学習モデルとして最近人気を集めている。 このような高度にパーソナライズされたユースケースでは、モデルが最小限のトレーニングデータしか持たない個人のユニークな特徴に適応できることが重要です。 メタラーニングは、新しいタスクに素早く適応するためのモデルを訓練する方法として提案されている。 SNNのための数少ないメタラーニングソリューションはオフラインで動作し、現在のニューロモルフィックエッジデバイスと互換性のないある種のバックプロパゲーションを必要とする。 本稿では,タスクストリーム上での生涯学習を可能にする,OWOML-SNNと呼ばれるSNNのオンライン・オンラインメタ学習ルールを提案する。

関連論文リスト

• Accelerating Training with Neuron Interaction and Nowcasting Networks [34.14695001650589]
  学習可能な更新ルールは、トレーニングや使用に費用がかかり不安定になる可能性がある。 We propose NiNo to accelerate training based on weight nowcaster network (WNNs)。
  論文  参考訳（メタデータ） (2024-09-06T17:55:49Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• A Spiking Neural Network Structure Implementing Reinforcement Learning [0.0]
  本稿では,SNNの構造について述べる。 本論文で考察したSNN構造は、LIFAT(Leky Integration-and-fire neuron with adapt threshold)モデルの一般化によって記述されたスパイクニューロンを含む。 私の概念は、RLタスク特性に関する非常に一般的な仮定に基づいており、適用性に目に見える制限はありません。
  論文  参考訳（メタデータ） (2022-04-09T09:08:10Z)
• Recursive Least-Squares Estimator-Aided Online Learning for Visual Tracking [58.14267480293575]
  オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。 これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。 我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-28T06:51:18Z)
• In-Hardware Learning of Multilayer Spiking Neural Networks on a Neuromorphic Processor [6.816315761266531]
  この研究は、生物学的に妥当な局所更新規則を持つスパイクベースのバックプロパゲーションアルゴリズムを示し、ニューロモルフィックハードウェアの制約に適合するように適応する。 このアルゴリズムはIntel Loihiチップ上に実装されており、モバイルアプリケーション用の多層SNNの低消費電力ハードウェアによるオンライン学習を可能にする。
  論文  参考訳（メタデータ） (2021-05-08T09:22:21Z)
• NL-CNN: A Resources-Constrained Deep Learning Model based on Nonlinear Convolution [0.0]
  NL-CNNと略される新しい畳み込みニューラルネットワークモデルが提案され、非線型畳み込みは畳み込み+非線形性層のカスケードでエミュレートされる。 いくつかの広く知られているデータセットのパフォーマンス評価が提供され、いくつかの関連する特徴を示している。
  論文  参考訳（メタデータ） (2021-01-30T13:38:42Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• Sparse Meta Networks for Sequential Adaptation and its Application to Adaptive Language Modelling [7.859988850911321]
  Sparse Meta Networksは、ディープニューラルネットワークのオンラインシーケンシャル適応アルゴリズムを学習するためのメタ学習アプローチである。 層固有の高速メモリでディープニューラルネットワークを強化する。 様々な逐次適応シナリオにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2020-09-03T17:06:52Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• The Microsoft Toolkit of Multi-Task Deep Neural Networks for Natural Language Understanding [97.85957811603251]
  MT-DNNはオープンソースの自然言語理解(NLU)ツールキットであり、研究者や開発者がカスタマイズされたディープラーニングモデルを訓練しやすくする。 PyTorchとTransformersをベースとして開発されたMT-DNNは、幅広いNLUタスクの迅速なカスタマイズを容易にするように設計されている。 MT-DNNのユニークな特徴は、対戦型マルチタスク学習パラダイムを用いた堅牢で移動可能な学習のサポートである。
  論文  参考訳（メタデータ） (2020-02-19T03:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。