論文の概要: GRSN: Gated Recurrent Spiking Neurons for POMDPs and MARL
- arxiv url: http://arxiv.org/abs/2404.15597v1
- Date: Wed, 24 Apr 2024 02:20:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-25 14:53:37.616190
- Title: GRSN: Gated Recurrent Spiking Neurons for POMDPs and MARL
- Title（参考訳）: GRSN:PMDPとMARLのためのGated Recurrent Spiking Neurons
- Authors: Lang Qin, Ziming Wang, Runhao Jiang, Rui Yan, Huajin Tang,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、エネルギー効率と高速推論能力のため、様々な分野に広く応用されている。
現在のスパイキング強化学習(SRL)アルゴリズムでは、複数の時間ステップのシミュレーション結果がRLの単一ステップ決定にしか対応しない。
本稿では、スパイキングニューロンの単一ステップ更新を利用して、RLの歴史的状態情報を蓄積する新しい時間的アライメントパラダイム(TAP)を提案する。
- 参考スコア（独自算出の注目度）: 28.948871773551854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) are widely applied in various fields due to their energy-efficient and fast-inference capabilities. Applying SNNs to reinforcement learning (RL) can significantly reduce the computational resource requirements for agents and improve the algorithm's performance under resource-constrained conditions. However, in current spiking reinforcement learning (SRL) algorithms, the simulation results of multiple time steps can only correspond to a single-step decision in RL. This is quite different from the real temporal dynamics in the brain and also fails to fully exploit the capacity of SNNs to process temporal data. In order to address this temporal mismatch issue and further take advantage of the inherent temporal dynamics of spiking neurons, we propose a novel temporal alignment paradigm (TAP) that leverages the single-step update of spiking neurons to accumulate historical state information in RL and introduces gated units to enhance the memory capacity of spiking neurons. Experimental results show that our method can solve partially observable Markov decision processes (POMDPs) and multi-agent cooperation problems with similar performance as recurrent neural networks (RNNs) but with about 50% power consumption.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、エネルギー効率と高速推論能力のため、様々な分野に広く応用されている。
SNNを強化学習(RL)に適用することで、エージェントの計算リソース要件を大幅に削減し、リソース制約のある条件下でのアルゴリズムの性能を向上させることができる。
しかし、現在のスパイキング強化学習(SRL)アルゴリズムでは、複数の時間ステップのシミュレーション結果がRLの単一ステップ決定にしか対応しない。
これは脳の実際の時間的ダイナミクスとは大きく異なり、また、時間的データを処理するSNNの能力を完全に活用することができない。
この時間的ミスマッチ問題に対処し、スパイキングニューロン固有の時間的ダイナミクスを更に活用するために、スパイキングニューロンの単一ステップ更新を利用してRLの履歴情報を蓄積する新しい時間的アライメントパラダイム(TAP)を提案し、スパイキングニューロンのメモリ容量を向上させるゲートユニットを導入した。
実験の結果,再帰型ニューラルネットワーク(RNN)と同等の性能を持つが,約50%の消費電力で,部分的に観測可能なマルコフ決定過程(POMDP)とマルチエージェント協調問題を解くことができることがわかった。
関連論文リスト
- Time-independent Spiking Neuron via Membrane Potential Estimation for Efficient Spiking Neural Networks [4.142699381024752]
スパイキングニューラルネットワーク(SNN)の計算的非効率性は、主に膜電位の逐次更新によるものである。
スパイキングニューロンの並列計算法である膜電位推定並列スパイキングニューロン(MPE-PSN)を提案する。
提案手法では,特に高次ニューロン密度条件下での計算効率の向上が期待できる。
論文 参考訳（メタデータ） (2024-09-08T05:14:22Z) - PMSN: A Parallel Multi-compartment Spiking Neuron for Multi-scale Temporal Processing [22.1268533721837]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率の高い計算システムを実現する大きな可能性を秘めている。
PMSN(Parallel Multi-compartment Spiking Neuron)と呼ばれる新しいスパイキングニューロンモデルを提案する。
PMSNは、複数の相互作用するサブ構造を組み込んで生物学的ニューロンをエミュレートし、サブ構造数の柔軟な調整を可能にする。
論文 参考訳（メタデータ） (2024-08-27T09:47:46Z) - Exploiting Heterogeneity in Timescales for Sparse Recurrent Spiking Neural Networks for Energy-Efficient Edge Computing [16.60622265961373]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングの最前線である。
本稿では,SNNのパフォーマンスに革命をもたらす3つの画期的な研究をまとめる。
論文 参考訳（メタデータ） (2024-07-08T23:33:12Z) - Stochastic Spiking Neural Networks with First-to-Spike Coding [7.955633422160267]
スパイキングニューラルネットワーク (SNN) は、その生物の楽観性とエネルギー効率で知られている。
本研究では,SNNアーキテクチャにおける新しい計算手法と情報符号化方式の融合について検討する。
提案手法のトレードオフを,精度,推論遅延,スパイク空間性,エネルギー消費,データセットの観点から検討する。
論文 参考訳（メタデータ） (2024-04-26T22:52:23Z) - Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。
実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。
したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
論文 参考訳（メタデータ） (2023-07-14T08:51:03Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳（メタデータ） (2023-06-14T13:34:13Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Low-bit Quantization of Recurrent Neural Network Language Models Using
Alternating Direction Methods of Multipliers [67.688697838109]
本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。
2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
論文 参考訳（メタデータ） (2021-11-29T09:30:06Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z) - Temporal Spike Sequence Learning via Backpropagation for Deep Spiking
Neural Networks [14.992756670960008]
スパイキングニューラルネットワーク(SNN)は、エネルギー効率の良いイベント駆動ニューロモルフィックプロセッサの計算と実装に適している。
深部SNNを訓練するためのTSSL-BP(Temporal Spike Sequence Learning Backpropagation)法を提案する。
論文 参考訳（メタデータ） (2020-02-24T05:49:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。