論文の概要: GRSN: Gated Recurrent Spiking Neurons for POMDPs and MARL
- arxiv url: http://arxiv.org/abs/2404.15597v1
- Date: Wed, 24 Apr 2024 02:20:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-25 14:53:37.616190
- Title: GRSN: Gated Recurrent Spiking Neurons for POMDPs and MARL
- Title(参考訳): GRSN:PMDPとMARLのためのGated Recurrent Spiking Neurons
- Authors: Lang Qin, Ziming Wang, Runhao Jiang, Rui Yan, Huajin Tang,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、エネルギー効率と高速推論能力のため、様々な分野に広く応用されている。
現在のスパイキング強化学習(SRL)アルゴリズムでは、複数の時間ステップのシミュレーション結果がRLの単一ステップ決定にしか対応しない。
本稿では、スパイキングニューロンの単一ステップ更新を利用して、RLの歴史的状態情報を蓄積する新しい時間的アライメントパラダイム(TAP)を提案する。
- 参考スコア(独自算出の注目度): 28.948871773551854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) are widely applied in various fields due to their energy-efficient and fast-inference capabilities. Applying SNNs to reinforcement learning (RL) can significantly reduce the computational resource requirements for agents and improve the algorithm's performance under resource-constrained conditions. However, in current spiking reinforcement learning (SRL) algorithms, the simulation results of multiple time steps can only correspond to a single-step decision in RL. This is quite different from the real temporal dynamics in the brain and also fails to fully exploit the capacity of SNNs to process temporal data. In order to address this temporal mismatch issue and further take advantage of the inherent temporal dynamics of spiking neurons, we propose a novel temporal alignment paradigm (TAP) that leverages the single-step update of spiking neurons to accumulate historical state information in RL and introduces gated units to enhance the memory capacity of spiking neurons. Experimental results show that our method can solve partially observable Markov decision processes (POMDPs) and multi-agent cooperation problems with similar performance as recurrent neural networks (RNNs) but with about 50% power consumption.
- Abstract(参考訳): スパイキングニューラルネットワーク(SNN)は、エネルギー効率と高速推論能力のため、様々な分野に広く応用されている。
SNNを強化学習(RL)に適用することで、エージェントの計算リソース要件を大幅に削減し、リソース制約のある条件下でのアルゴリズムの性能を向上させることができる。
しかし、現在のスパイキング強化学習(SRL)アルゴリズムでは、複数の時間ステップのシミュレーション結果がRLの単一ステップ決定にしか対応しない。
これは脳の実際の時間的ダイナミクスとは大きく異なり、また、時間的データを処理するSNNの能力を完全に活用することができない。
この時間的ミスマッチ問題に対処し、スパイキングニューロン固有の時間的ダイナミクスを更に活用するために、スパイキングニューロンの単一ステップ更新を利用してRLの履歴情報を蓄積する新しい時間的アライメントパラダイム(TAP)を提案し、スパイキングニューロンのメモリ容量を向上させるゲートユニットを導入した。
実験の結果,再帰型ニューラルネットワーク(RNN)と同等の性能を持つが,約50%の消費電力で,部分的に観測可能なマルコフ決定過程(POMDP)とマルチエージェント協調問題を解くことができることがわかった。
関連論文リスト
- Efficient and Effective Time-Series Forecasting with Spiking Neural
Networks [50.195087118884665]
スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。
SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。
本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-02T16:23:50Z) - A Spiking Binary Neuron -- Detector of Causal Links [0.0]
因果関係認識は、学習行動、行動計画、外界ダイナミクスの推論を目的としたニューラルネットワークの基本的な操作である。
本研究は、単純なスパイク二元性ニューロンを用いた因果関係認識を実現するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-15T15:34:17Z) - Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。
実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。
したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
論文 参考訳(メタデータ) (2023-07-14T08:51:03Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Low-bit Quantization of Recurrent Neural Network Language Models Using
Alternating Direction Methods of Multipliers [67.688697838109]
本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。
2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
論文 参考訳(メタデータ) (2021-11-29T09:30:06Z) - Backpropagation with Biologically Plausible Spatio-Temporal Adjustment
For Training Deep Spiking Neural Networks [5.484391472233163]
ディープラーニングの成功は、バックプロパゲーションとは分離できない。
本研究では, 膜電位とスパイクの関係を再考する, 生体可塑性空間調整法を提案する。
次に,生物学的に妥当な時間的調整を提案し,時間的次元のスパイクを横切る誤差を伝搬させる。
論文 参考訳(メタデータ) (2021-10-17T15:55:51Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳(メタデータ) (2021-09-29T07:46:54Z) - Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural
Networks [3.7384509727711923]
ニューロモルフィックコンピューティングの大きな課題は、従来の人工ニューラルネットワーク(ANN)の学習アルゴリズムがスパイクニューラルネットワーク(SNN)に直接転送されないことである。
本稿では,イベントベースカメラ入力からの光フロー推定における自己教師型学習問題に着目した。
提案するANNとSNNの性能は,自己教師型で訓練された現在の最先端のANNと同等であることを示す。
論文 参考訳(メタデータ) (2021-06-03T14:03:41Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z) - Temporal Spike Sequence Learning via Backpropagation for Deep Spiking
Neural Networks [14.992756670960008]
スパイキングニューラルネットワーク(SNN)は、エネルギー効率の良いイベント駆動ニューロモルフィックプロセッサの計算と実装に適している。
深部SNNを訓練するためのTSSL-BP(Temporal Spike Sequence Learning Backpropagation)法を提案する。
論文 参考訳(メタデータ) (2020-02-24T05:49:37Z) - Exploring weight initialization, diversity of solutions, and degradation
in recurrent neural networks trained for temporal and decision-making tasks [0.0]
リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、脳機能と構造をモデル化するために頻繁に使用される。
本研究では,時間変化刺激による時間・流れ制御タスクを行うために,小型完全接続型RNNを訓練した。
論文 参考訳(メタデータ) (2019-06-03T21:56:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。