論文の概要: Continual Learning with Neuromorphic Computing: Foundations, Methods, and Emerging Applications

• arxiv url: http://arxiv.org/abs/2410.09218v3
• Date: Sat, 19 Jul 2025 03:19:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 14:33:31.202774
• Title: Continual Learning with Neuromorphic Computing: Foundations, Methods, and Emerging Applications
• Title（参考訳）: ニューロモルフィックコンピューティングによる連続学習:基礎,方法,創発的応用
• Authors: Mishal Fatima Minhas, Rachmad Vidya Wicaksana Putra, Falah Awwad, Osman Hasan, Muhammad Shafique,
• Abstract要約: スパイキングニューラルネットワーク(SNN)の原理を活用したニューロモルフィック連続学習(NCL)が出現する。 本調査では,教師付き学習パラダイムと教師なし学習パラダイムを組み合わせたハイブリッドアプローチについて紹介する。 また、SNN操作の削減、重量量子化、知識蒸留といった最適化手法についても触れている。
• 参考スコア（独自算出の注目度）: 5.213243471774097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The challenging deployment of compute- and memory-intensive methods from Deep Neural Network (DNN)-based Continual Learning (CL) underscores the critical need for a paradigm shift towards more efficient approaches. Neuromorphic Continual Learning (NCL) appears as an emerging solution, by leveraging the principles of Spiking Neural Networks (SNNs) which enable efficient CL algorithms executed in dynamically-changed environments with resource-constrained computing systems. Motivated by the need for a holistic study of NCL, in this survey, we first provide a detailed background on CL, encompassing the desiderata, settings, metrics, scenario taxonomy, Online Continual Learning (OCL) paradigm, recent DNN-based methods to address catastrophic forgetting (CF). Then, we analyze these methods considering CL desiderata, computational and memory costs, as well as network complexity, hence emphasizing the need for energy-efficient CL. Afterward, we provide background of low-power neuromorphic systems including encoding techniques, neuronal dynamics, network architectures, learning rules, hardware processors, software and hardware frameworks, datasets, benchmarks, and evaluation metrics. Then, this survey comprehensively reviews and analyzes state-of-the-art in NCL. The key ideas, implementation frameworks, and performance assessments are also provided. This survey covers several hybrid approaches that combine supervised and unsupervised learning paradigms. It also covers optimization techniques including SNN operations reduction, weight quantization, and knowledge distillation. Then, this survey discusses the progress of real-world NCL applications. Finally, this paper provides a future perspective on the open research challenges for NCL, since the purpose of this study is to be useful for the wider neuromorphic AI research community and to inspire future research in bio-plausible OCL.
• Abstract（参考訳）: Deep Neural Network (DNN)ベースのContinuous Learning (CL)からの計算とメモリ集約的なメソッドのデプロイは、より効率的なアプローチへのパラダイムシフトの必要性を浮き彫りにしている。 NCL(Neuromorphic Continual Learning)は、資源制約のあるコンピュータシステムで動的に変化する環境で実行される効率的なCLアルゴリズムを実現するスパイキングニューラルネットワーク(SNN)の原理を活用することで、新たなソリューションとして現れる。 本調査では、まず、デシラタ、セッティング、メトリクス、シナリオ分類、オンライン連続学習(OCL)パラダイム、最近のDNNに基づく、破滅的な忘れ(CF)に対処する手法を含む、CLの詳細な背景について述べる。 そこで我々は, CLデシダータ, 計算コスト, メモリコスト, ネットワークの複雑さを考慮した解析を行い, エネルギー効率の高いCLの必要性を強調した。 その後、エンコーディング技術、神経力学、ネットワークアーキテクチャ、学習ルール、ハードウェアプロセッサ、ソフトウェアおよびハードウェアフレームワーク、データセット、ベンチマーク、評価指標など、低消費電力のニューロモルフィックシステムの背景を提供する。 次に,NCLの現状を総合的にレビューし,分析する。 主要なアイデア、実装フレームワーク、パフォーマンスアセスメントも提供されます。 本調査では,教師付き学習パラダイムと教師なし学習パラダイムを組み合わせたハイブリッドアプローチについて紹介する。 また、SNN操作の削減、重量量子化、知識蒸留といった最適化手法についても触れている。 そこで本研究では,実世界のNCLアプリケーションの進展について論じる。 最後に,NCLのオープンな研究課題に対する今後の展望について述べる。この研究の目的は,より広範なニューロモルフィックAI研究コミュニティに有用であり,生物工学的なOCL研究を刺激することである。

関連論文リスト

• Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
  本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。 古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。 コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
  論文  参考訳（メタデータ） (2025-07-21T10:52:14Z)
• Semi-parametric Memory Consolidation: Towards Brain-like Deep Continual Learning [59.35015431695172]
  本稿では,半パラメトリックメモリと覚醒・睡眠統合機構を統合したバイオミメティック連続学習フレームワークを提案する。 提案手法は,実世界の挑戦的連続学習シナリオにおいて,先行知識を維持しつつ,新しいタスクにおけるディープニューラルネットワークの高性能維持を可能にする。
  論文  参考訳（メタデータ） (2025-04-20T19:53:13Z)
• Three-Factor Learning in Spiking Neural Networks: An Overview of Methods and Trends from a Machine Learning Perspective [0.07499722271664144]
  Spiking Neural Networks(SNN)の3要素学習ルールは、従来のヘビーン学習の重要な拡張として現れている。 これらのメカニズムは生物学的な可視性を高め、人工神経系の信用割り当てを改善する。
  論文  参考訳（メタデータ） (2025-04-06T08:10:16Z)
• Online Continual Learning: A Systematic Literature Review of Approaches, Challenges, and Benchmarks [1.3631535881390204]
  オンライン連続学習(OCL)は、機械学習において重要な分野である。 本研究は,OCLに関する総合的なシステム文献レビューを初めて実施する。
  論文  参考訳（メタデータ） (2025-01-09T01:03:14Z)
• Similarity-based context aware continual learning for spiking neural networks [12.259720271932661]
  類似性に基づくSCA-SNN(Context Aware Spiking Neural Network)連続学習アルゴリズムを提案する。 SCA-SNNモデルは、タスク間のコンテキスト的類似性に基づいて、新しいタスクに有益な以前のタスクからニューロンを適応的に再利用することができる。 提案アルゴリズムは,ニューロン群を適応的に選択し,効率的な連続学習の生物学的解釈性を高めるための有望なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-10-28T09:38:57Z)
• Continual Learning with Hebbian Plasticity in Sparse and Predictive Coding Networks: A Survey and Perspective [1.3986052523534573]
  ニューロモルフィック連続学習システムの新たなクラスは、ハエの新たな情報を統合することを学ばなければならない。 このサーベイは、最先端スパースと予測符号化技術に基づくニューロモルフィック連続学習の分野における最近の多くの研究をカバーしている。 この調査は神経形連続学習の分野での今後の研究に貢献することが期待されている。
  論文  参考訳（メタデータ） (2024-07-24T14:20:59Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• EchoSpike Predictive Plasticity: An Online Local Learning Rule for Spiking Neural Networks [4.644628459389789]
  スパイキングニューラルネットワーク(SNN)は、低電力とメモリを必要とするアプリケーションにおいて、その可能性のために魅力的である。 EchoSpike Predictive Plasticity(ESPP)学習ルールは,オンライン学習ルールのパイオニアである。 ESPPは、エッジでのニューロモルフィックコンピューティングのための生物学的に妥当な自己教師付き学習モデルの開発において、大きな進歩を示している。
  論文  参考訳（メタデータ） (2024-05-22T20:20:43Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• Metalearning Continual Learning Algorithms [42.710124929514066]
  本稿では,自己参照型ニューラルネットワークを連続的(メタ)学習アルゴリズムに学習するために,ACL(Automated Continual Learning)を提案する。 ACLは、継続学習(CL)デシダラタ(古いタスクと新しいタスクの両方で優れたパフォーマンス)をメタラーニング目標にエンコードする。 我々の実験は、ACLが「コンテキスト内破滅的忘れ」を効果的に解決することを示した。
  論文  参考訳（メタデータ） (2023-12-01T01:25:04Z)
• Adaptive Reorganization of Neural Pathways for Continual Learning with Spiking Neural Networks [9.889775504641925]
  神経経路を適応的に再編成する脳にインスパイアされた連続学習アルゴリズムを提案する。 提案モデルでは,様々な連続学習タスクにおいて,性能,エネルギー消費,メモリ容量が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-09-18T07:56:40Z)
• Enhancing Efficient Continual Learning with Dynamic Structure Development of Spiking Neural Networks [6.407825206595442]
  子どもは複数の認知タスクを逐次学習する能力を持っている。 既存の連続学習フレームワークは通常、ディープニューラルネットワーク(DNN)に適用できる。 本研究では,効率的な適応型連続学習のためのスパイキングニューラルネットワーク(DSD-SNN)の動的構造開発を提案する。
  論文  参考訳（メタデータ） (2023-08-09T07:36:40Z)
• A Survey on In-context Learning [77.78614055956365]
  In-context Learning (ICL) は自然言語処理(NLP)の新しいパラダイムとして登場した。 まず、ICLの形式的定義を示し、関連する研究との相関を明らかにする。 次に、トレーニング戦略、迅速なデザイン戦略、関連する分析を含む高度なテクニックを組織化し、議論する。
  論文  参考訳（メタデータ） (2022-12-31T15:57:09Z)
• The least-control principle for learning at equilibrium [65.2998274413952]
  我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
  論文  参考訳（メタデータ） (2022-07-04T11:27:08Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Continual Learning for Recurrent Neural Networks: a Review and Empirical Evaluation [12.27992745065497]
  リカレントニューラルネットワークによる連続学習は、受信データが定常的でない多数のアプリケーションへの道を開くことができる。 コントリビューションの分類とベンチマークのレビューを提供することで、シーケンシャルデータ処理のためのCLに関する文献を整理します。 我々は既存のデータセットに基づくシーケンシャルデータを持つclの新しいベンチマークを2つ提案する。
  論文  参考訳（メタデータ） (2021-03-12T19:25:28Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。