論文の概要: Continual Learning with Neuromorphic Computing: Theories, Methods, and Applications

• arxiv url: http://arxiv.org/abs/2410.09218v2
• Date: Mon, 28 Oct 2024 04:52:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 15:43:17.613668
• Title: Continual Learning with Neuromorphic Computing: Theories, Methods, and Applications
• Title（参考訳）: ニューロモルフィックコンピューティングによる連続学習:理論,方法,応用
• Authors: Mishal Fatima Minhas, Rachmad Vidya Wicaksana Putra, Falah Awwad, Osman Hasan, Muhammad Shafique,
• Abstract要約: 自律的なシステムが新しい知識を獲得し、変化する環境に適応できるようにするために、継続的な学習が提案されている。 脳にインスパイアされたスパイキングニューラルネットワーク(SNN)を備えたニューロモルフィックコンピューティングは、低消費電力/エネルギー連続学習を可能にする固有の利点を提供する。
• 参考スコア（独自算出の注目度）: 5.213243471774097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To adapt to real-world dynamics, intelligent systems need to assimilate new knowledge without catastrophic forgetting, where learning new tasks leads to a degradation in performance on old tasks. To address this, continual learning concept is proposed for enabling autonomous systems to acquire new knowledge and dynamically adapt to changing environments. Specifically, energy-efficient continual learning is needed to ensure the functionality of autonomous systems under tight compute and memory resource budgets (i.e., so-called autonomous embedded systems). Neuromorphic computing, with brain-inspired Spiking Neural Networks (SNNs), offers inherent advantages for enabling low-power/energy continual learning in autonomous embedded systems. In this paper, we comprehensively discuss the foundations and methods for enabling continual learning in neural networks, then analyze the state-of-the-art works considering SNNs. Afterward, comparative analyses of existing methods are conducted while considering crucial design factors, such as network complexity, memory, latency, and power/energy efficiency. We also explore the practical applications that can benefit from SNN-based continual learning and open challenges in real-world scenarios. In this manner, our survey provides valuable insights into the recent advancements of SNN-based continual learning for real-world application use-cases.
• Abstract（参考訳）: 現実世界の力学に適応するためには、知的システムは破滅的な忘れをせずに新しい知識を同化する必要がある。 これを解決するために、自律的なシステムが新しい知識を取得し、変化する環境に動的に適応できるようにするための継続的学習の概念が提案されている。 具体的には、厳密な計算とメモリリソース予算(いわゆる自律組み込みシステム)の下での自律システムの機能を保証するために、エネルギー効率のよい連続学習が必要である。 脳にインスパイアされたスパイキングニューラルネットワーク(SNN)を備えたニューロモルフィックコンピューティングは、自律的な組み込みシステムにおいて低消費電力/エネルギー連続学習を可能にする固有の利点を提供する。 本稿では,ニューラルネットワークにおける連続学習を実現するための基礎と手法を包括的に議論し,SNNを考慮した最先端の作業を分析する。 その後、ネットワークの複雑さ、メモリ、レイテンシ、電力/エネルギー効率といった重要な設計要素を考慮しつつ、既存の手法の比較分析を行う。 また、実世界のシナリオにおいて、SNNベースの継続的学習とオープンチャレンジの恩恵を受けることができる実践的アプリケーションについても検討する。 このようにして、我々の調査は、現実世界のアプリケーションユースケースに対するSNNベースの継続的学習の最近の進歩に関する貴重な洞察を提供する。

関連論文リスト

• Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
  本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。 古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。 コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
  論文  参考訳（メタデータ） (2025-07-21T10:52:14Z)
• Semi-parametric Memory Consolidation: Towards Brain-like Deep Continual Learning [59.35015431695172]
  本稿では,半パラメトリックメモリと覚醒・睡眠統合機構を統合したバイオミメティック連続学習フレームワークを提案する。 提案手法は,実世界の挑戦的連続学習シナリオにおいて,先行知識を維持しつつ,新しいタスクにおけるディープニューラルネットワークの高性能維持を可能にする。
  論文  参考訳（メタデータ） (2025-04-20T19:53:13Z)
• Three-Factor Learning in Spiking Neural Networks: An Overview of Methods and Trends from a Machine Learning Perspective [0.07499722271664144]
  Spiking Neural Networks(SNN)の3要素学習ルールは、従来のヘビーン学習の重要な拡張として現れている。 これらのメカニズムは生物学的な可視性を高め、人工神経系の信用割り当てを改善する。
  論文  参考訳（メタデータ） (2025-04-06T08:10:16Z)
• Online Continual Learning: A Systematic Literature Review of Approaches, Challenges, and Benchmarks [1.3631535881390204]
  オンライン連続学習(OCL)は、機械学習において重要な分野である。 本研究は,OCLに関する総合的なシステム文献レビューを初めて実施する。
  論文  参考訳（メタデータ） (2025-01-09T01:03:14Z)
• Similarity-based context aware continual learning for spiking neural networks [12.259720271932661]
  類似性に基づくSCA-SNN(Context Aware Spiking Neural Network)連続学習アルゴリズムを提案する。 SCA-SNNモデルは、タスク間のコンテキスト的類似性に基づいて、新しいタスクに有益な以前のタスクからニューロンを適応的に再利用することができる。 提案アルゴリズムは,ニューロン群を適応的に選択し,効率的な連続学習の生物学的解釈性を高めるための有望なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-10-28T09:38:57Z)
• Continual Learning with Hebbian Plasticity in Sparse and Predictive Coding Networks: A Survey and Perspective [1.3986052523534573]
  ニューロモルフィック連続学習システムの新たなクラスは、ハエの新たな情報を統合することを学ばなければならない。 このサーベイは、最先端スパースと予測符号化技術に基づくニューロモルフィック連続学習の分野における最近の多くの研究をカバーしている。 この調査は神経形連続学習の分野での今後の研究に貢献することが期待されている。
  論文  参考訳（メタデータ） (2024-07-24T14:20:59Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• EchoSpike Predictive Plasticity: An Online Local Learning Rule for Spiking Neural Networks [4.644628459389789]
  スパイキングニューラルネットワーク(SNN)は、低電力とメモリを必要とするアプリケーションにおいて、その可能性のために魅力的である。 EchoSpike Predictive Plasticity(ESPP)学習ルールは,オンライン学習ルールのパイオニアである。 ESPPは、エッジでのニューロモルフィックコンピューティングのための生物学的に妥当な自己教師付き学習モデルの開発において、大きな進歩を示している。
  論文  参考訳（メタデータ） (2024-05-22T20:20:43Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• Metalearning Continual Learning Algorithms [42.710124929514066]
  本稿では,自己参照型ニューラルネットワークを連続的(メタ)学習アルゴリズムに学習するために,ACL(Automated Continual Learning)を提案する。 ACLは、継続学習(CL)デシダラタ(古いタスクと新しいタスクの両方で優れたパフォーマンス)をメタラーニング目標にエンコードする。 我々の実験は、ACLが「コンテキスト内破滅的忘れ」を効果的に解決することを示した。
  論文  参考訳（メタデータ） (2023-12-01T01:25:04Z)
• Adaptive Reorganization of Neural Pathways for Continual Learning with Spiking Neural Networks [9.889775504641925]
  神経経路を適応的に再編成する脳にインスパイアされた連続学習アルゴリズムを提案する。 提案モデルでは,様々な連続学習タスクにおいて,性能,エネルギー消費,メモリ容量が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-09-18T07:56:40Z)
• Enhancing Efficient Continual Learning with Dynamic Structure Development of Spiking Neural Networks [6.407825206595442]
  子どもは複数の認知タスクを逐次学習する能力を持っている。 既存の連続学習フレームワークは通常、ディープニューラルネットワーク(DNN)に適用できる。 本研究では,効率的な適応型連続学習のためのスパイキングニューラルネットワーク(DSD-SNN)の動的構造開発を提案する。
  論文  参考訳（メタデータ） (2023-08-09T07:36:40Z)
• A Survey on In-context Learning [77.78614055956365]
  In-context Learning (ICL) は自然言語処理(NLP)の新しいパラダイムとして登場した。 まず、ICLの形式的定義を示し、関連する研究との相関を明らかにする。 次に、トレーニング戦略、迅速なデザイン戦略、関連する分析を含む高度なテクニックを組織化し、議論する。
  論文  参考訳（メタデータ） (2022-12-31T15:57:09Z)
• The least-control principle for learning at equilibrium [65.2998274413952]
  我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
  論文  参考訳（メタデータ） (2022-07-04T11:27:08Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Continual Learning for Recurrent Neural Networks: a Review and Empirical Evaluation [12.27992745065497]
  リカレントニューラルネットワークによる連続学習は、受信データが定常的でない多数のアプリケーションへの道を開くことができる。 コントリビューションの分類とベンチマークのレビューを提供することで、シーケンシャルデータ処理のためのCLに関する文献を整理します。 我々は既存のデータセットに基づくシーケンシャルデータを持つclの新しいベンチマークを2つ提案する。
  論文  参考訳（メタデータ） (2021-03-12T19:25:28Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。