論文の概要: A Spiking Neural Network Structure Implementing Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2204.04431v2
- Date: Fri, 22 Sep 2023 19:12:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 05:15:13.248057
- Title: A Spiking Neural Network Structure Implementing Reinforcement Learning
- Title（参考訳）: 強化学習を実現するスパイキングニューラルネットワーク構造
- Authors: Mikhail Kiselev
- Abstract要約: 本稿では,SNNの構造について述べる。
本論文で考察したSNN構造は、LIFAT(Leky Integration-and-fire neuron with adapt threshold)モデルの一般化によって記述されたスパイクニューロンを含む。
私の概念は、RLタスク特性に関する非常に一般的な仮定に基づいており、適用性に目に見える制限はありません。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: At present, implementation of learning mechanisms in spiking neural networks
(SNN) cannot be considered as a solved scientific problem despite plenty of SNN
learning algorithms proposed. It is also true for SNN implementation of
reinforcement learning (RL), while RL is especially important for SNNs because
of its close relationship to the domains most promising from the viewpoint of
SNN application such as robotics. In the present paper, I describe an SNN
structure which, seemingly, can be used in wide range of RL tasks. The
distinctive feature of my approach is usage of only the spike forms of all
signals involved - sensory input streams, output signals sent to actuators and
reward/punishment signals. Besides that, selecting the neuron/plasticity
models, I was guided by the requirement that they should be easily implemented
on modern neurochips. The SNN structure considered in the paper includes
spiking neurons described by a generalization of the LIFAT (leaky
integrate-and-fire neuron with adaptive threshold) model and a simple spike
timing dependent synaptic plasticity model (a generalization of
dopamine-modulated plasticity). My concept is based on very general assumptions
about RL task characteristics and has no visible limitations on its
applicability. To test it, I selected a simple but non-trivial task of training
the network to keep a chaotically moving light spot in the view field of an
emulated DVS camera. Successful solution of this RL problem by the SNN
described can be considered as evidence in favor of efficiency of my approach.
- Abstract（参考訳）: 現在、スパイキングニューラルネットワーク(SNN)における学習機構の実装は、多くのSNN学習アルゴリズムが提案されているにもかかわらず、科学的問題の解決には至っていない。
また、強化学習(RL)のSNN実装にも当てはまり、ロボット工学などのSNN応用の観点から最も有望な領域との密接な関係から、特にSNNにとってRLは重要である。
本稿では,広範囲なRLタスクで使用可能なSNN構造について述べる。
私のアプローチの特徴は、センシティブ入力ストリーム、アクチュエータに送信される出力信号、報酬/懸賞信号など、すべての信号のスパイクのみを使用することです。
それに加えて、ニューロン/塑性モデルを選択することで、現代の神経チップで容易に実装できるという要件に導かれました。
本論文で検討されているsn構造は、lifat(leaky integrated-and-fire neuron with adaptive threshold)モデルの一般化と、単純なスパイクタイミング依存性シナプス可塑性モデル(ドーパミン修飾可塑性の一般化)によって記述されたスパイキングニューロンを含む。
私の概念は、RLタスク特性に関する非常に一般的な仮定に基づいており、適用性に目に見える制限はありません。
実験では,エミュレートされたDVSカメラの視野内に,カオス的に動く光点を保持するために,ネットワークを訓練する簡単な作業を選択した。
SNNによるこのRL問題の有効な解法は、私のアプローチの効率性を支持する証拠とみなすことができる。
関連論文リスト
- Training Spiking Neural Networks via Augmented Direct Feedback Alignment [3.798885293742468]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックデバイスにニューラルネットワークを実装するための有望なソリューションである。
しかし、SNNニューロンの非分化性は、それらを訓練することを困難にしている。
本稿では、ランダムなプロジェクションに基づく勾配のないアプローチである拡張直接フィードバックアライメント(aDFA)を用いてSNNの訓練を行う。
論文 参考訳（メタデータ） (2024-09-12T06:22:44Z) - Accurate Mapping of RNNs on Neuromorphic Hardware with Adaptive Spiking Neurons [2.9410174624086025]
我々は、SigmaDelta$-low-pass RNN(lpRNN)を、レートベースのRNNをスパイクニューラルネットワーク(SNN)にマッピングするために提示する。
適応スパイキングニューロンモデルは、$SigmaDelta$-modulationを使って信号を符号化し、正確なマッピングを可能にする。
我々は、Intelのニューロモルフィック研究チップLoihiにおけるlpRNNの実装を実演する。
論文 参考訳（メタデータ） (2024-07-18T14:06:07Z) - Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳（メタデータ） (2024-01-09T07:31:34Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Toward Robust Spiking Neural Network Against Adversarial Perturbation [22.56553160359798]
スパイキングニューラルネットワーク(SNN)は、現実の効率クリティカルなアプリケーションにますます多くデプロイされている。
研究者はすでに、SNNを敵の例で攻撃できることを実証している。
我々の知る限りでは、これはSNNの堅牢なトレーニングに関する最初の分析である。
論文 参考訳（メタデータ） (2022-04-12T21:26:49Z) - Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。
SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
論文 参考訳（メタデータ） (2022-01-21T16:42:11Z) - Spiking Neural Networks with Single-Spike Temporal-Coded Neurons for
Network Intrusion Detection [6.980076213134383]
スパイキングニューラルネット(SNN)は、その強い生物楽観性と高いエネルギー効率のために興味深い。
しかし、その性能は従来のディープニューラルネットワーク(DNN)よりもはるかに遅れている。
論文 参考訳（メタデータ） (2020-10-15T14:46:18Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。