論文の概要: Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2401.05444v1
• Date: Tue, 9 Jan 2024 07:31:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-13 02:32:02.168206
• Title: Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning
• Title（参考訳）: 層内接続による強化学習のための完全スパイクアクタネットワーク
• Authors: Ding Chen, Peixi Peng, Tiejun Huang, and Yonghong Tian
• Abstract要約: エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
• 参考スコア（独自算出の注目度）: 51.386945803485084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the help of special neuromorphic hardware, spiking neural networks (SNNs) are expected to realize artificial intelligence (AI) with less energy consumption. It provides a promising energy-efficient way for realistic control tasks by combining SNNs with deep reinforcement learning (DRL). In this paper, we focus on the task where the agent needs to learn multi-dimensional deterministic policies to control, which is very common in real scenarios. Recently, the surrogate gradient method has been utilized for training multi-layer SNNs, which allows SNNs to achieve comparable performance with the corresponding deep networks in this task. Most existing spike-based RL methods take the firing rate as the output of SNNs, and convert it to represent continuous action space (i.e., the deterministic policy) through a fully-connected (FC) layer. However, the decimal characteristic of the firing rate brings the floating-point matrix operations to the FC layer, making the whole SNN unable to deploy on the neuromorphic hardware directly. To develop a fully spiking actor network without any floating-point matrix operations, we draw inspiration from the non-spiking interneurons found in insects and employ the membrane voltage of the non-spiking neurons to represent the action. Before the non-spiking neurons, multiple population neurons are introduced to decode different dimensions of actions. Since each population is used to decode a dimension of action, we argue that the neurons in each population should be connected in time domain and space domain. Hence, the intra-layer connections are used in output populations to enhance the representation capacity. Finally, we propose a fully spiking actor network with intra-layer connections (ILC-SAN).
• Abstract（参考訳）: 特別なニューロモルフィックハードウェアの助けを借りて、スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。 SNNと深層強化学習(DRL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。 本稿では,エージェントが制御のための多次元決定論的ポリシーを学習する必要があるタスクに焦点を当てる。 近年,SNNが対応する深層ネットワークに匹敵する性能を達成できる多層SNNの訓練にサロゲート勾配法が用いられている。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された(FC)層を通して連続的なアクション空間(つまり決定論的なポリシー)を表現する。 しかし、点火速度の十進特性は、浮動小数点行列演算をFC層にもたらすため、SNN全体をニューロモルフィックハードウェアに直接展開することができない。 浮遊点行列操作を伴わない完全にスパイクするアクターネットワークを開発するために,昆虫に見られる非スパイク介在ニューロンからインスピレーションを受け,非スパイクニューロンの膜電圧を用いて行動を表現する。 非スパイキングニューロンの前に、複数の集団ニューロンが様々な行動の次元をデコードするために導入される。 各集団は行動の次元をデコードするために使用されるため、各集団のニューロンは時間領域と空間領域で接続されるべきである。 したがって、層内接続は出力集団において表現能力を高めるために使用される。 最後に,層内接続 (ilc-san) を持つ完全スパイキングアクタネットワークを提案する。

関連論文リスト

• Biologically-Plausible Topology Improved Spiking Actor Network for Efficient Deep Reinforcement Learning [15.143466733327566]
  近年の神経科学の進歩により、ヒトの脳は報酬に基づく効果的な学習を達成していることが明らかになった。 Deep Reinforcement Learning (DRL)の成功は主に、関数近似器としてArtificial Neural Networks (ANN)を活用することによる。 そこで我々は,機能近似の新たな代替手法として,生物学的に証明可能なトポロジー改良スパイキング・アクター・ネットワーク(BPT-SAN)を提案する。
  論文  参考訳（メタデータ） (2024-03-29T13:25:19Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Accelerating spiking neural network training [1.6114012813668934]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、脳内の活動電位にインスパイアされた人工ネットワークの一種である。 本稿では,全ての逐次計算を排除し,ベクトル化された演算にのみ依存する単一スパイク/ニューラルオンSNNを直接訓練する手法を提案する。 提案手法は, 従来のSNNと比較して, 95.68 %以上のスパイク数削減を達成し, ニューロモルフィックコンピュータ上でのエネルギー要求を著しく低減する。
  論文  参考訳（メタデータ） (2022-05-30T17:48:14Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• A Spiking Neural Network Structure Implementing Reinforcement Learning [0.0]
  本稿では,SNNの構造について述べる。 本論文で考察したSNN構造は、LIFAT(Leky Integration-and-fire neuron with adapt threshold)モデルの一般化によって記述されたスパイクニューロンを含む。 私の概念は、RLタスク特性に関する非常に一般的な仮定に基づいており、適用性に目に見える制限はありません。
  論文  参考訳（メタデータ） (2022-04-09T09:08:10Z)
• Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
  スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。 SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
  論文  参考訳（メタデータ） (2022-01-21T16:42:11Z)
• Population-coding and Dynamic-neurons improved Spiking Actor Network for Reinforcement Learning [10.957578424267757]
  スパイキングニューラルネットワーク(SNN)は、スパイキングニューロンの多様な集団を含み、空間的および時間的情報による状態表現に自然に強力である。 本稿では,2つの異なるスケールからの効率的な状態表現を実現するために,PDSAN(Population-coding and Dynamic-neurons improve Spiking Actor Network)を提案する。 我々のTD3-PDSANモデルは,4つのOpenAIジムベンチマークタスクにおける最先端モデルよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-06-15T03:14:41Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。