論文の概要: Evolving Connectivity for Recurrent Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2305.17650v1
• Date: Sun, 28 May 2023 07:08:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 17:37:58.919415
• Title: Evolving Connectivity for Recurrent Spiking Neural Networks
• Title（参考訳）: リカレントスパイクニューラルネットワークのための接続性の進化
• Authors: Guan Wang, Yuhao Sun, Sijie Cheng, Sen Song
• Abstract要約: リカレントニューラルネットワーク(RSNN)は、人工知能の進歩に大きな可能性を秘めている。 本稿では、RSNNをトレーニングするための推論のみの手法である、進化的接続性(EC)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 8.80300633999542
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent spiking neural networks (RSNNs) hold great potential for advancing artificial general intelligence, as they draw inspiration from the biological nervous system and show promise in modeling complex dynamics. However, the widely-used surrogate gradient-based training methods for RSNNs are inherently inaccurate and unfriendly to neuromorphic hardware. To address these limitations, we propose the evolving connectivity (EC) framework, an inference-only method for training RSNNs. The EC framework reformulates weight-tuning as a search into parameterized connection probability distributions, and employs Natural Evolution Strategies (NES) for optimizing these distributions. Our EC framework circumvents the need for gradients and features hardware-friendly characteristics, including sparse boolean connections and high scalability. We evaluate EC on a series of standard robotic locomotion tasks, where it achieves comparable performance with deep neural networks and outperforms gradient-trained RSNNs, even solving the complex 17-DoF humanoid task. Additionally, the EC framework demonstrates a two to three fold speedup in efficiency compared to directly evolving parameters. By providing a performant and hardware-friendly alternative, the EC framework lays the groundwork for further energy-efficient applications of RSNNs and advances the development of neuromorphic devices.
• Abstract（参考訳）: リカレントスパイキングニューラルネットワーク(RSNN)は、生物学的神経系からインスピレーションを得て、複雑な力学をモデル化する可能性を示すため、人工知能の進歩に大きな可能性を秘めている。 しかし、RSNNの広範に使われているサロゲート勾配に基づくトレーニング手法は本質的に不正確であり、ニューロモルフィックハードウェアには不向きである。 これらの制約に対処するために、RSNNをトレーニングするための推論のみの手法である進化的接続性(EC)フレームワークを提案する。 ECフレームワークは、パラメータ化された接続確率分布の探索として重み付けを再構成し、これらの分布を最適化するためにNatural Evolution Strategies (NES) を用いる。 我々のECフレームワークは、グラデーションの必要性を回避し、スパースブール接続や高いスケーラビリティなど、ハードウェアフレンドリな特徴を特徴としています。 そこでは、深層ニューラルネットワークと同等の性能を達成し、複雑な17-DoFヒューマノイドタスクを解くことで、勾配学習されたRSNNよりも優れた性能を発揮する。 さらに、ECフレームワークは直接進化するパラメータに比べて効率が2倍から3倍に向上することを示した。 ECフレームワークは、パフォーマンスとハードウェアに優しい代替手段を提供することにより、RSNNのさらなるエネルギー効率の高い応用の基礎を築き、ニューロモルフィックデバイスの開発を進める。

関連論文リスト

• Decoding finger velocity from cortical spike trains with recurrent spiking neural networks [6.404492073110551]
  侵襲的脳-機械インタフェース(BMI)は運動障害患者の生活の質を著しく向上させる。 BMIは信頼性の高い復号化性能を提供しながら、厳格なレイテンシとエネルギー制約を満たす必要がある。 2匹のマカクザルの皮質スパイク列から指の速度を復号するためにRSNNを訓練した。
  論文  参考訳（メタデータ） (2024-09-03T10:15:33Z)
• RLEEGNet: Integrating Brain-Computer Interfaces with Adaptive AI for Intuitive Responsiveness and High-Accuracy Motor Imagery Classification [0.0]
  本稿では,Deep Q-Networks (DQN) を用いた強化学習を分類タスクに活用するフレームワークを提案する。 本稿では,OVR(One-Versus-The-Rest)方式で,マルチクラス運動画像(MI)分類のための前処理手法を提案する。 DQNと1D-CNN-LSTMアーキテクチャの統合は意思決定プロセスをリアルタイムで最適化する。
  論文  参考訳（メタデータ） (2024-02-09T02:03:13Z)
• SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
  スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。 我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
  論文  参考訳（メタデータ） (2023-10-25T13:15:17Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Online Training of Spiking Recurrent Neural Networks with Phase-Change Memory Synapses [1.9809266426888898]
  専用のニューロモルフィックハードウェア上でのスパイクニューラルネットワーク(RNN)のトレーニングは、依然としてオープンな課題である。 本稿では,PCMデバイスモデルに基づく差分構造アレイのシミュレーションフレームワークを提案する。 我々は,最近提案されたe-prop学習規則を用いて,提案したシミュレーションフレームワークに重みをエミュレートしたスパイクRNNを訓練する。
  論文  参考訳（メタデータ） (2021-08-04T01:24:17Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks [0.9790524827475205]
  本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。 我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
  論文  参考訳（メタデータ） (2020-05-24T01:04:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。