論文の概要: Continual Learning with Hebbian Plasticity in Sparse and Predictive Coding Networks: A Survey and Perspective

• arxiv url: http://arxiv.org/abs/2407.17305v2
• Date: Sun, 17 Nov 2024 07:13:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:30:36.067105
• Title: Continual Learning with Hebbian Plasticity in Sparse and Predictive Coding Networks: A Survey and Perspective
• Title（参考訳）: スパースおよび予測符号化ネットワークにおけるヘビアン塑性を用いた連続学習 : 調査と展望
• Authors: Ali Safa,
• Abstract要約: ニューロモルフィック連続学習システムの新たなクラスは、ハエの新たな情報を統合することを学ばなければならない。 このサーベイは、最先端スパースと予測符号化技術に基づくニューロモルフィック連続学習の分野における最近の多くの研究をカバーしている。 この調査は神経形連続学習の分野での今後の研究に貢献することが期待されている。
• 参考スコア（独自算出の注目度）: 1.3986052523534573
• License:
• Abstract: Recently, the use of bio-inspired learning techniques such as Hebbian learning and its closely-related Spike-Timing-Dependent Plasticity (STDP) variant have drawn significant attention for the design of compute-efficient AI systems that can continuously learn on-line at the edge. A key differentiating factor regarding this emerging class of neuromorphic continual learning system lies in the fact that learning must be carried using a data stream received in its natural order, as opposed to conventional gradient-based offline training, where a static training dataset is assumed available a priori and randomly shuffled to make the training set independent and identically distributed (i.i.d). In contrast, the emerging class of neuromorphic continual learning systems covered in this survey must learn to integrate new information on the fly in a non-i.i.d manner, which makes these systems subject to catastrophic forgetting. In order to build the next generation of neuromorphic AI systems that can continuously learn at the edge, a growing number of research groups are studying the use of Sparse and Predictive Coding-based Hebbian neural network architectures and the related Spiking Neural Networks (SNNs) equipped with STDP learning. However, since this research field is still emerging, there is a need for providing a holistic view of the different approaches proposed in the literature so far. To this end, this survey covers a number of recent works in the field of neuromorphic continual learning based on state-of-the-art Sparse and Predictive Coding technology; provides background theory to help interested researchers quickly learn the key concepts; and discusses important future research questions in light of the different works covered in this paper. It is hoped that this survey will contribute towards future research in the field of neuromorphic continual learning.
• Abstract（参考訳）: 近年、Hebbian Learningのようなバイオインスパイアされた学習技術と、それと密接に関連するSpike-Timing-Dependent Plasticity (STDP) 変種の使用は、エッジでオンラインで連続的に学習できる計算効率の高いAIシステムの設計に大きな注目を集めている。 このニューロモルフィック連続学習システムの新たなクラスにおける重要な差別化要因は、静的トレーニングデータセットが事前利用可能と仮定され、ランダムにシャッフルされてトレーニングセットを独立して同一に分散する(すなわち、d)という従来の勾配ベースのオフライントレーニングとは対照的に、学習が自然に受けられるデータストリームを使用して実行されなければならないという事実にある。 対照的に、この調査でカバーされた神経形連続学習システムの新たなクラスは、ハエの新たな情報を非I.d方法で統合することを学ぶ必要がある。 エッジで継続的に学習できる次世代のニューロモーフィックAIシステムを構築するために、STDP学習を備えたスパースと予測符号化に基づくヘビアンニューラルネットワークアーキテクチャと関連するスパイキングニューラルネットワーク(SNN)の利用を研究する研究グループが増えている。 しかし、この研究分野はまだ発展途上であるため、これまでの文献で提案されている様々なアプローチの全体像を提供する必要がある。 この目的のために,本研究では,最先端のスパース・予測符号化技術に基づくニューロモルフィック連続学習の分野における最近の多くの研究を取り上げ,研究者が重要な概念を迅速に学習するための背景理論を提供し,また,本論文で紹介する異なる研究から,今後の重要な研究課題について論じる。 この調査は神経形連続学習の分野での今後の研究に貢献することが期待されている。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• DSAM: A Deep Learning Framework for Analyzing Temporal and Spatial Dynamics in Brain Networks [4.041732967881764]
  ほとんどのrs-fMRI研究は、関心のある脳領域にまたがる単一の静的機能接続行列を計算している。 これらのアプローチは、脳のダイナミクスを単純化し、目の前のゴールを適切に考慮していないリスクがある。 本稿では,時系列から直接ゴール固有の機能的接続行列を学習する,解釈可能な新しいディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-19T23:35:06Z)
• Probing Biological and Artificial Neural Networks with Task-dependent Neural Manifolds [12.037840490243603]
  本稿では,ニューラルネットワークの内部機構について,ニューラル集団幾何学のレンズを用いて検討する。 学習目的の違いが,これらのモデルの組織戦略の違いにどのように影響するかを定量的に評価する。 これらの分析は、ニューラルネットワークにおける機械的および規範的理論を神経集団幾何学を通してブリッジする強力な方向を示す。
  論文  参考訳（メタデータ） (2023-12-21T20:40:51Z)
• Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment [65.268245109828]
  本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。 我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。 本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-12-01T05:20:57Z)
• Towards Data-and Knowledge-Driven Artificial Intelligence: A Survey on Neuro-Symbolic Computing [73.0977635031713]
  ニューラルシンボリック・コンピューティング(NeSy)は、人工知能(AI)の活発な研究領域である。 NeSyは、ニューラルネットワークにおける記号表現の推論と解釈可能性の利点と堅牢な学習の整合性を示す。
  論文  参考訳（メタデータ） (2022-10-28T04:38:10Z)
• aSTDP: A More Biologically Plausible Learning [0.0]
  我々は,新しいニューラルネットワーク学習フレームワークSTDPを導入する。 教師なしおよび教師なしの学習にはSTDPルールのみを使用する。 追加設定なしで予測したり、ひとつのモデルでパターンを生成できる。
  論文  参考訳（メタデータ） (2022-05-22T08:12:50Z)
• Spatiotemporal Patterns in Neurobiology: An Overview for Future Artificial Intelligence [0.0]
  我々は,ネットワーク相互作用から生じる機能を明らかにする上で,計算モデルが重要なツールであると主張している。 ここでは、スパイキングニューロン、統合ニューロン、発火ニューロンを含むいくつかのモデルのクラスについてレビューする。 これらの研究は、人工知能アルゴリズムの今後の発展と、脳のプロセスの理解の検証に役立つことを願っている。
  論文  参考訳（メタデータ） (2022-03-29T10:28:01Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Brain-Inspired Learning on Neuromorphic Substrates [5.279475826661643]
  本稿では、ニューロモルフィック基板のための実用的なオンライン学習アルゴリズムの設計のための数学的枠組みを提供する。 具体的には、リアルタイムリカレントラーニング(RTRL)と、スパイキングニューラルネットワーク(SNN)をトレーニングするための生物学的に妥当な学習規則との直接的な関連を示す。 我々はブロック対角ジャコビアンに基づくスパース近似を動機付け、アルゴリズムの計算複雑性を低減する。
  論文  参考訳（メタデータ） (2020-10-22T17:56:59Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。