論文の概要: Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2402.11984v1
• Date: Mon, 19 Feb 2024 09:29:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 17:14:48.396578
• Title: Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks
• Title（参考訳）: ヘビアン学習に基づくスパイクニューラルネットワークの連続学習のための直交投影
• Authors: Mingqing Xiao, Qingyan Meng, Zongpeng Zhang, Di He, Zhouchen Lin
• Abstract要約: 我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
• 参考スコア（独自算出の注目度）: 74.3099028063756
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Neuromorphic computing with spiking neural networks is promising for energy-efficient artificial intelligence (AI) applications. However, different from humans who continually learn different tasks in a lifetime, neural network models suffer from catastrophic forgetting. How could neuronal operations solve this problem is an important question for AI and neuroscience. Many previous studies draw inspiration from observed neuroscience phenomena and propose episodic replay or synaptic metaplasticity, but they are not guaranteed to explicitly preserve knowledge for neuron populations. Other works focus on machine learning methods with more mathematical grounding, e.g., orthogonal projection on high dimensional spaces, but there is no neural correspondence for neuromorphic computing. In this work, we develop a new method with neuronal operations based on lateral connections and Hebbian learning, which can protect knowledge by projecting activity traces of neurons into an orthogonal subspace so that synaptic weight update will not interfere with old tasks. We show that Hebbian and anti-Hebbian learning on recurrent lateral connections can effectively extract the principal subspace of neural activities and enable orthogonal projection. This provides new insights into how neural circuits and Hebbian learning can help continual learning, and also how the concept of orthogonal projection can be realized in neuronal systems. Our method is also flexible to utilize arbitrary training methods based on presynaptic activities/traces. Experiments show that our method consistently solves forgetting for spiking neural networks with nearly zero forgetting under various supervised training methods with different error propagation approaches, and outperforms previous approaches under various settings. Our method can pave a solid path for building continual neuromorphic computing systems.
• Abstract（参考訳）: スパイクニューラルネットワークを用いたニューロモルフィックコンピューティングは、エネルギー効率の良い人工知能(ai)応用に有望である。 しかし、生涯にわたって異なるタスクを継続的に学習する人間とは異なり、ニューラルネットワークモデルは破滅的な忘れに苦しむ。 神経手術がこの問題をどうやって解決できるかは、AIと神経科学にとって重要な問題である。 これまでの多くの研究は、観察された神経科学現象から着想を得て、エピソディックリプレイやシナプスの異形性を提案するが、ニューロン集団の知識を明示的に保存することは保証されていない。 他の研究は、高次元空間上の直交射影など、より数学的基盤を持つ機械学習手法に焦点を当てているが、ニューロモルフィックコンピューティングに対するニューラル対応は存在しない。 本研究は,ニューロンの活動トレースを直交部分空間に投影することで知識を保護し,シナプス重み更新が古い作業に支障を来さないようにする,側方接続とヘビアン学習に基づく神経操作を用いた新しい手法を開発する。 本研究は, 神経活動の主部分空間を効果的に抽出し, 直交投射を可能にすることができることを示す。 これは、神経回路とヘビー学習が継続的な学習にどのように役立つか、また、直交射影の概念がニューロン系でどのように実現されるかについての新しい洞察を与える。 また,前シナプス活動/トラスに基づく任意の訓練手法を活用できる。 提案手法は,誤り伝播の異なる様々な教師付き学習法において,ほぼゼロのスパイクニューラルネットワークに対する忘れることを一貫して解決し,様々な条件下では従来手法よりも優れることを示す。 本手法は連続ニューロモルフィックコンピューティングシステムを構築するための固い経路を舗装することができる。

関連論文リスト

• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Learning to Act through Evolution of Neural Diversity in Random Neural Networks [9.387749254963595]
  ほとんどの人工ニューラルネットワーク(ANN)では、神経計算は通常すべてのニューロン間で共有される活性化関数に抽象化される。 本稿では,複雑な計算を行うことができる多様なニューロンの集合を実現するために,神経中心パラメータの最適化を提案する。
  論文  参考訳（メタデータ） (2023-05-25T11:33:04Z)
• Constraints on the design of neuromorphic circuits set by the properties of neural population codes [61.15277741147157]
  脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。 ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
  論文  参考訳（メタデータ） (2022-12-08T15:16:04Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Neuronal Learning Analysis using Cycle-Consistent Adversarial Networks [4.874780144224057]
  我々は、-CycleGANと呼ばれる深層生成モデルを用いて、前学習と後学習の神経活動の間の未知のマッピングを学習する。 我々は,カルシウム蛍光信号を前処理し,訓練し,評価するためのエンドツーエンドパイプラインを開発し,その結果の深層学習モデルを解釈する手法を開発した。
  論文  参考訳（メタデータ） (2021-11-25T13:24:19Z)
• Continual Learning with Deep Artificial Neurons [0.0]
  本稿では,Deep Artificial Neurons (DAN)を導入し,ディープニューラルネットワークとして実現した。 ネットワーク内のすべてのDANが共有する神経表現型をダブする単一パラメータベクトルをメタ学習することが可能であることを示す。 適切な神経表現型は,最小限の忘れを伴ってシナプスを更新する能力を持つ単一ネットワークを育むことができることを示す。
  論文  参考訳（メタデータ） (2020-11-13T17:50:10Z)
• Training spiking neural networks using reinforcement learning [0.0]
  本稿では,スパイクニューラルネットワークのトレーニングを容易にするために,生物学的に有望なバックプロパゲーション代替法を提案する。 本研究では,空間的・時間的信用割当問題の解決における強化学習規則の適用可能性を検討することに注力する。 我々は、グリッドワールド、カートポール、マウンテンカーといった従来のRLドメインに適用することで、2つのアプローチを比較し、対比する。
  論文  参考訳（メタデータ） (2020-05-12T17:40:36Z)
• Synaptic Metaplasticity in Binarized Neural Networks [4.243926243206826]
  ディープニューラルネットワークは、新しいタスクをトレーニングする際に破滅的なことを忘れがちだ。 本研究では,マルチタスクとストリーム学習の状況において,これまで提示したデータを必要としない破滅的な忘れを軽減させる訓練手法を提案する。 この研究は計算神経科学とディープラーニングを橋渡しし、将来の組み込みおよびニューロモルフィックシステムのための重要な資産を提示する。
  論文  参考訳（メタデータ） (2020-03-07T08:09:34Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。