論文の概要: Continual Learning with Neuromorphic Computing: Theories, Methods, and Applications

• arxiv url: http://arxiv.org/abs/2410.09218v1
• Date: Mon, 28 Oct 2024 04:52:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 15:43:17.616425
• Title: Continual Learning with Neuromorphic Computing: Theories, Methods, and Applications
• Title（参考訳）: ニューロモルフィックコンピューティングによる連続学習:理論,方法,応用
• Authors: Mishal Fatima Minhas, Rachmad Vidya Wicaksana Putra, Falah Awwad, Osman Hasan, Muhammad Shafique,
• Abstract要約: 自律的なシステムが新しい知識を獲得し、変化する環境に適応できるようにするために、継続的な学習が提案されている。 脳にインスパイアされたスパイキングニューラルネットワーク(SNN)を備えたニューロモルフィックコンピューティングは、低消費電力/エネルギー連続学習を可能にする固有の利点を提供する。
• 参考スコア（独自算出の注目度）: 5.213243471774097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To adapt to real-world dynamics, intelligent systems need to assimilate new knowledge without catastrophic forgetting, where learning new tasks leads to a degradation in performance on old tasks. To address this, continual learning concept is proposed for enabling autonomous systems to acquire new knowledge and dynamically adapt to changing environments. Specifically, energy-efficient continual learning is needed to ensure the functionality of autonomous systems under tight compute and memory resource budgets (i.e., so-called autonomous embedded systems). Neuromorphic computing, with brain-inspired Spiking Neural Networks (SNNs), offers inherent advantages for enabling low-power/energy continual learning in autonomous embedded systems. In this paper, we comprehensively discuss the foundations and methods for enabling continual learning in neural networks, then analyze the state-of-the-art works considering SNNs. Afterward, comparative analyses of existing methods are conducted while considering crucial design factors, such as network complexity, memory, latency, and power/energy efficiency. We also explore the practical applications that can benefit from SNN-based continual learning and open challenges in real-world scenarios. In this manner, our survey provides valuable insights into the recent advancements of SNN-based continual learning for real-world application use-cases.
• Abstract（参考訳）: 現実世界の力学に適応するためには、知的システムは破滅的な忘れをせずに新しい知識を同化する必要がある。 これを解決するために、自律的なシステムが新しい知識を取得し、変化する環境に動的に適応できるようにするための継続的学習の概念が提案されている。 具体的には、厳密な計算とメモリリソース予算(いわゆる自律組み込みシステム)の下での自律システムの機能を保証するために、エネルギー効率のよい連続学習が必要である。 脳にインスパイアされたスパイキングニューラルネットワーク(SNN)を備えたニューロモルフィックコンピューティングは、自律的な組み込みシステムにおいて低消費電力/エネルギー連続学習を可能にする固有の利点を提供する。 本稿では,ニューラルネットワークにおける連続学習を実現するための基礎と手法を包括的に議論し,SNNを考慮した最先端の作業を分析する。 その後、ネットワークの複雑さ、メモリ、レイテンシ、電力/エネルギー効率といった重要な設計要素を考慮しつつ、既存の手法の比較分析を行う。 また、実世界のシナリオにおいて、SNNベースの継続的学習とオープンチャレンジの恩恵を受けることができる実践的アプリケーションについても検討する。 このようにして、我々の調査は、現実世界のアプリケーションユースケースに対するSNNベースの継続的学習の最近の進歩に関する貴重な洞察を提供する。

関連論文リスト

• Similarity-based context aware continual learning for spiking neural networks [12.259720271932661]
  類似性に基づくSCA-SNN(Context Aware Spiking Neural Network)連続学習アルゴリズムを提案する。 SCA-SNNモデルは、タスク間のコンテキスト的類似性に基づいて、新しいタスクに有益な以前のタスクからニューロンを適応的に再利用することができる。 提案アルゴリズムは,ニューロン群を適応的に選択し,効率的な連続学習の生物学的解釈性を高めるための有望なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-10-28T09:38:57Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• EchoSpike Predictive Plasticity: An Online Local Learning Rule for Spiking Neural Networks [4.644628459389789]
  スパイキングニューラルネットワーク(SNN)は、低電力とメモリを必要とするアプリケーションにおいて、その可能性のために魅力的である。 EchoSpike Predictive Plasticity(ESPP)学習ルールは,オンライン学習ルールのパイオニアである。 ESPPは、エッジでのニューロモルフィックコンピューティングのための生物学的に妥当な自己教師付き学習モデルの開発において、大きな進歩を示している。
  論文  参考訳（メタデータ） (2024-05-22T20:20:43Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• Adaptive Reorganization of Neural Pathways for Continual Learning with Spiking Neural Networks [9.889775504641925]
  神経経路を適応的に再編成する脳にインスパイアされた連続学習アルゴリズムを提案する。 提案モデルでは,様々な連続学習タスクにおいて,性能,エネルギー消費,メモリ容量が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-09-18T07:56:40Z)
• Enhancing Efficient Continual Learning with Dynamic Structure Development of Spiking Neural Networks [6.407825206595442]
  子どもは複数の認知タスクを逐次学習する能力を持っている。 既存の連続学習フレームワークは通常、ディープニューラルネットワーク(DNN)に適用できる。 本研究では,効率的な適応型連続学習のためのスパイキングニューラルネットワーク(DSD-SNN)の動的構造開発を提案する。
  論文  参考訳（メタデータ） (2023-08-09T07:36:40Z)
• The least-control principle for learning at equilibrium [65.2998274413952]
  我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
  論文  参考訳（メタデータ） (2022-07-04T11:27:08Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。