論文の概要: Deep Reinforcement Learning with Spiking Q-learning

• arxiv url: http://arxiv.org/abs/2201.09754v3
• Date: Wed, 8 May 2024 11:29:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 19:50:32.317281
• Title: Deep Reinforcement Learning with Spiking Q-learning
• Title（参考訳）: スパイクQ-ラーニングによる深層強化学習
• Authors: Ding Chen, Peixi Peng, Tiejun Huang, Yonghong Tian,
• Abstract要約: スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。 SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
• 参考スコア（独自算出の注目度）: 51.386945803485084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the help of special neuromorphic hardware, spiking neural networks (SNNs) are expected to realize artificial intelligence (AI) with less energy consumption. It provides a promising energy-efficient way for realistic control tasks by combining SNNs with deep reinforcement learning (RL). There are only a few existing SNN-based RL methods at present. Most of them either lack generalization ability or employ Artificial Neural Networks (ANNs) to estimate value function in training. The former needs to tune numerous hyper-parameters for each scenario, and the latter limits the application of different types of RL algorithm and ignores the large energy consumption in training. To develop a robust spike-based RL method, we draw inspiration from non-spiking interneurons found in insects and propose the deep spiking Q-network (DSQN), using the membrane voltage of non-spiking neurons as the representation of Q-value, which can directly learn robust policies from high-dimensional sensory inputs using end-to-end RL. Experiments conducted on 17 Atari games demonstrate the DSQN is effective and even outperforms the ANN-based deep Q-network (DQN) in most games. Moreover, the experiments show superior learning stability and robustness to adversarial attacks of DSQN.
• Abstract（参考訳）: 特別なニューロモルフィックハードウェアの助けを借りて、スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。 SNNと深層強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。 現在、SNNベースのRLメソッドはわずかである。 その多くは、一般化能力がないか、トレーニングで値関数を推定するためにArtificial Neural Networks(ANN)を使用している。 前者はシナリオ毎に多数のハイパーパラメータを調整する必要があり、後者は異なるタイプのRLアルゴリズムの適用を制限し、トレーニングにおける大きなエネルギー消費を無視する。 本研究では,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得て,非スパイクニューロンの膜電圧をQ値の表現として用いた深部スパイクQネットワーク(DSQN)を提案する。 17のアタリゲームで行われた実験では、DSQNは有効であり、ほとんどのゲームにおいてANNベースのディープQネットワーク(DQN)よりも優れていた。 さらに,DSQNの攻撃に対する学習安定性と堅牢性も向上した。

関連論文リスト

• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
  スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。 我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
  論文  参考訳（メタデータ） (2023-10-25T13:15:17Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• A Spiking Neural Network Structure Implementing Reinforcement Learning [0.0]
  本稿では,SNNの構造について述べる。 本論文で考察したSNN構造は、LIFAT(Leky Integration-and-fire neuron with adapt threshold)モデルの一般化によって記述されたスパイクニューロンを含む。 私の概念は、RLタスク特性に関する非常に一般的な仮定に基づいており、適用性に目に見える制限はありません。
  論文  参考訳（メタデータ） (2022-04-09T09:08:10Z)
• Deep Binary Reinforcement Learning for Scalable Verification [44.44006029119672]
  バイナライズニューラルネットワーク(BNN)に特化したRLアルゴリズムを提案する。 Atari環境でBNNを訓練した後、ロバスト性特性を検証する。
  論文  参考訳（メタデータ） (2022-03-11T01:20:23Z)
• Human-Level Control through Directly-Trained Deep Spiking Q-Networks [16.268397551693862]
  スパイキングニューラルネットワーク(SNN)は、その高エネルギー効率のため、ニューロモルフィックなハードウェアに大きな可能性を秘めている。 本稿では,Leakyインテグレート・アンド・ファイアニューロンとDeep Q-Networkに基づいて,直接学習した深部スパイキング強化学習アーキテクチャを提案する。 我々の研究は、直接学習されたSNNを用いて、複数のAtariゲームで最先端のパフォーマンスを達成する最初のものである。
  論文  参考訳（メタデータ） (2021-12-13T09:46:17Z)
• Deep Reinforcement Learning with Population-Coded Spiking Neural Network for Continuous Control [0.0]
  深層強化学習(DRL)を用いた深層批評家ネットワークと連携して訓練された集団符号化スパイキングアクターネットワーク(PopSAN)を提案する。 我々は、トレーニング済みのPopSANをIntelのLoihiニューロモルフィックチップにデプロイし、本手法をメインストリームのDRLアルゴリズムと比較し、連続的な制御を行った。 本研究はニューロモルフィックコントローラの効率性をサポートし,エネルギー効率とロバスト性の両方が重要である場合,我々のハイブリッドRLをディープラーニングの代替として提案する。
  論文  参考訳（メタデータ） (2020-10-19T16:20:45Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。