論文の概要: Tuning Synaptic Connections instead of Weights by Genetic Algorithm in
Spiking Policy Network
- arxiv url: http://arxiv.org/abs/2301.10292v1
- Date: Thu, 29 Dec 2022 12:36:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-29 13:21:23.451284
- Title: Tuning Synaptic Connections instead of Weights by Genetic Algorithm in
Spiking Policy Network
- Title(参考訳): スパイクポリシーネットワークにおける遺伝的アルゴリズムによる重みではなくシナプス接続のチューニング
- Authors: Duzhen Zhang, Tielin Zhang, Shuncheng Jia, Qingyu Wang, Bo Xu
- Abstract要約: ニューロン間のスパイクコミュニケーションと生物学的に解明可能なシナプス可塑性の統合について検討した。
DRLの代替エネルギーとして遺伝的アルゴリズムを用いてスパイキングポリシーネットワーク(SPN)を最適化する。
本手法はDRL法の性能レベルを達成し,エネルギー効率を著しく向上させることができる。
- 参考スコア(独自算出の注目度): 5.371345045382104
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning from the interaction is the primary way biological agents know about
the environment and themselves. Modern deep reinforcement learning (DRL)
explores a computational approach to learning from interaction and has
significantly progressed in solving various tasks. However, the powerful DRL is
still far from biological agents in energy efficiency. Although the underlying
mechanisms are not fully understood, we believe that the integration of spiking
communication between neurons and biologically-plausible synaptic plasticity
plays a prominent role. Following this biological intuition, we optimize a
spiking policy network (SPN) by a genetic algorithm as an energy-efficient
alternative to DRL. Our SPN mimics the sensorimotor neuron pathway of insects
and communicates through event-based spikes. Inspired by biological research
that the brain forms memories by forming new synaptic connections and rewires
these connections based on new experiences, we tune the synaptic connections
instead of weights in SPN to solve given tasks. Experimental results on several
robotic control tasks show that our method can achieve the performance level of
mainstream DRL methods and exhibit significantly higher energy efficiency.
- Abstract(参考訳): 相互作用から学ぶことは、生物学的エージェントが環境とそれ自身について知る主要な方法である。
現代の深層強化学習(DRL)は相互作用から学習する計算手法を探求し、様々な課題の解決に大きく進歩した。
しかし、強力なDRLはエネルギー効率の生物学的作用には程遠い。
メカニズムは十分には分かっていないが、神経細胞間のスパイキングコミュニケーションと生物学的に可塑性が組み合わさっていることが重要な役割を担っていると信じている。
この生物学的直観に続いて、DRLのエネルギー効率の代替として遺伝的アルゴリズムによるスパイキングポリシーネットワーク(SPN)を最適化する。
spnは昆虫の感覚運動ニューロン経路を模倣し、イベントベースのスパイクを介して伝達する。
生物学的研究により、脳は新たなシナプス接続を形成して記憶を形成し、これらの接続を新しい経験に基づいて再接続することで、与えられたタスクを解決するためにSPNの重みの代わりにシナプス接続を調整する。
いくつかのロボット制御タスクの実験結果から,本手法はDRL法の性能レベルを達成でき,エネルギー効率が著しく向上することが示された。
関連論文リスト
- Single Neuromorphic Memristor closely Emulates Multiple Synaptic
Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。
これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文 参考訳(メタデータ) (2024-02-26T15:01:54Z) - Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳(メタデータ) (2024-01-09T07:31:34Z) - Learning with Chemical versus Electrical Synapses -- Does it Make a
Difference? [61.85704286298537]
バイオインスパイアされたニューラルネットワークは、ニューラルネットワークの理解を深め、AIシステムの最先端を改善する可能性がある。
我々は,光リアルな自律走行シミュレータを用いて自律車線維持実験を行い,その性能を種々の条件下で評価する。
論文 参考訳(メタデータ) (2023-11-21T13:07:20Z) - A Spiking Binary Neuron -- Detector of Causal Links [0.0]
因果関係認識は、学習行動、行動計画、外界ダイナミクスの推論を目的としたニューラルネットワークの基本的な操作である。
本研究は、単純なスパイク二元性ニューロンを用いた因果関係認識を実現するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-15T15:34:17Z) - Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - Modeling Associative Plasticity between Synapses to Enhance Learning of
Spiking Neural Networks [4.736525128377909]
Spiking Neural Networks(SNN)は、ニューラルネットワークの第3世代であり、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする。
本稿では,シナプス間の結合可塑性をモデル化し,頑健で効果的な学習機構を提案する。
本手法は静的および最先端のニューロモルフィックデータセット上での優れた性能を実現する。
論文 参考訳(メタデータ) (2022-07-24T06:12:23Z) - Deep Reinforcement Learning with Spiking Q-learning [56.13654667729119]
スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。
SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
論文 参考訳(メタデータ) (2022-01-21T16:42:11Z) - Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。
学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。
さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
論文 参考訳(メタデータ) (2021-06-15T05:30:17Z) - Training spiking neural networks using reinforcement learning [0.0]
本稿では,スパイクニューラルネットワークのトレーニングを容易にするために,生物学的に有望なバックプロパゲーション代替法を提案する。
本研究では,空間的・時間的信用割当問題の解決における強化学習規則の適用可能性を検討することに注力する。
我々は、グリッドワールド、カートポール、マウンテンカーといった従来のRLドメインに適用することで、2つのアプローチを比較し、対比する。
論文 参考訳(メタデータ) (2020-05-12T17:40:36Z) - Embodied Synaptic Plasticity with Online Reinforcement learning [5.6006805285925445]
本稿では,これら2つの分野からオープンソースソフトウェアコンポーネントを統合することにより,計算神経科学とロボティクスの分野を連携させることに寄与する。
本稿では, オンライン強化学習(SPORE)によるシナプス塑性評価の枠組みについて述べる。
論文 参考訳(メタデータ) (2020-03-03T10:29:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。