論文の概要: Deep Reinforcement Learning with Population-Coded Spiking Neural Network for Continuous Control

• arxiv url: http://arxiv.org/abs/2010.09635v1
• Date: Mon, 19 Oct 2020 16:20:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 20:27:48.122770
• Title: Deep Reinforcement Learning with Population-Coded Spiking Neural Network for Continuous Control
• Title（参考訳）: 集団符号化スパイクニューラルネットワークによる連続制御のための深層強化学習
• Authors: Guangzhi Tang, Neelesh Kumar, Raymond Yoo, Konstantinos P. Michmizos
• Abstract要約: 深層強化学習(DRL)を用いた深層批評家ネットワークと連携して訓練された集団符号化スパイキングアクターネットワーク(PopSAN)を提案する。 我々は、トレーニング済みのPopSANをIntelのLoihiニューロモルフィックチップにデプロイし、本手法をメインストリームのDRLアルゴリズムと比較し、連続的な制御を行った。 本研究はニューロモルフィックコントローラの効率性をサポートし,エネルギー効率とロバスト性の両方が重要である場合,我々のハイブリッドRLをディープラーニングの代替として提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The energy-efficient control of mobile robots is crucial as the complexity of their real-world applications increasingly involves high-dimensional observation and action spaces, which cannot be offset by limited on-board resources. An emerging non-Von Neumann model of intelligence, where spiking neural networks (SNNs) are run on neuromorphic processors, is regarded as an energy-efficient and robust alternative to the state-of-the-art real-time robotic controllers for low dimensional control tasks. The challenge now for this new computing paradigm is to scale so that it can keep up with real-world tasks. To do so, SNNs need to overcome the inherent limitations of their training, namely the limited ability of their spiking neurons to represent information and the lack of effective learning algorithms. Here, we propose a population-coded spiking actor network (PopSAN) trained in conjunction with a deep critic network using deep reinforcement learning (DRL). The population coding scheme dramatically increased the representation capacity of the network and the hybrid learning combined the training advantages of deep networks with the energy-efficient inference of spiking networks. To show the general applicability of our approach, we integrated it with a spectrum of both on-policy and off-policy DRL algorithms. We deployed the trained PopSAN on Intel's Loihi neuromorphic chip and benchmarked our method against the mainstream DRL algorithms for continuous control. To allow for a fair comparison among all methods, we validated them on OpenAI gym tasks. Our Loihi-run PopSAN consumed 140 times less energy per inference when compared against the deep actor network on Jetson TX2, and had the same level of performance. Our results support the efficiency of neuromorphic controllers and suggest our hybrid RL as an alternative to deep learning, when both energy-efficiency and robustness are important.
• Abstract（参考訳）: 移動ロボットのエネルギー効率の制御は、現実のアプリケーションの複雑さがますます高次元の観察と行動空間を伴っているため、限られたオンボードリソースではオフセットできないため、極めて重要である。 スパイキングニューラルネットワーク(SNN)をニューロモルフィックプロセッサ上で動作させる、新たなノンフォンニューマンインテリジェンスモデルが、低次元制御タスクのための最先端のリアルタイムロボットコントローラのエネルギー効率と堅牢な代替品と見なされている。 この新しいコンピューティングパラダイムの課題は、現実世界のタスクに追随できるようにスケールすることだ。 そのために、SNNはトレーニングの固有の制限、すなわち、情報を表現するためのスパイクニューロンの限られた能力と効果的な学習アルゴリズムの欠如を克服する必要がある。 本稿では,deep reinforcement learning (drl) を用いた深層批評家ネットワークと連携して学習する集団符号化スパイキングアクタネットワーク (popsan) を提案する。 集団符号化方式はネットワークの表現能力を大幅に向上させ,ハイブリッド学習はディープネットワークの学習能力とスパイキングネットワークのエネルギー効率の高い推論を組み合わせる。 提案手法の適用性を示すため,本手法を実効性と非実効性の両方のDRLアルゴリズムのスペクトルと統合した。 我々は、トレーニング済みのPopSANをIntelのLoihiニューロモルフィックチップにデプロイし、本手法をメインストリームのDRLアルゴリズムと比較して連続制御を行った。 全手法の公正な比較を可能にするため,OpenAIのジムタスクで検証を行った。 我々のloihiが運営するpopsanは、jetson tx2のdeep actor networkと比較して推論当たり140倍のエネルギーを消費し、同じレベルのパフォーマンスでした。 本研究は,ニューロモルフィックコントローラの効率性をサポートし,エネルギー効率とロバスト性が重要である場合,ディープラーニングの代替としてハイブリッドrlを提案する。

関連論文リスト

• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
  スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。 SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
  論文  参考訳（メタデータ） (2022-01-21T16:42:11Z)
• Population-coding and Dynamic-neurons improved Spiking Actor Network for Reinforcement Learning [10.957578424267757]
  スパイキングニューラルネットワーク(SNN)は、スパイキングニューロンの多様な集団を含み、空間的および時間的情報による状態表現に自然に強力である。 本稿では,2つの異なるスケールからの効率的な状態表現を実現するために,PDSAN(Population-coding and Dynamic-neurons improve Spiking Actor Network)を提案する。 我々のTD3-PDSANモデルは,4つのOpenAIジムベンチマークタスクにおける最先端モデルよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-06-15T03:14:41Z)
• SpikeDyn: A Framework for Energy-Efficient Spiking Neural Networks with Continual and Unsupervised Learning Capabilities in Dynamic Environments [14.727296040550392]
  スパイキングニューラルネットワーク(SNN)は、生物学的妥当性のため、効率的な教師なしおよび継続的な学習能力の可能性を秘めている。 動的環境下での継続学習と教師なし学習機能を備えたエネルギー効率の高いSNNのためのフレームワークであるSpikeDynを提案する。
  論文  参考訳（メタデータ） (2021-02-28T08:26:23Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Reinforcement co-Learning of Deep and Spiking Neural Networks for Energy-Efficient Mapless Navigation with Neuromorphic Hardware [0.0]
  スパイキングニューラルネットワークのエネルギー効率と深部強化学習(DRL)の最適性を組み合わせたニューロモルフィックアプローチを提案する。 筆者らのフレームワークは,スパイクアクターネットワーク(SAN)と深い批判ネットワークから構成されており,この2つのネットワークは勾配降下を用いて共同で訓練されている。 アプローチを評価するため、トレーニング済みのSANをIntelのLoihiニューロモルフィックプロセッサにデプロイした。
  論文  参考訳（メタデータ） (2020-03-02T19:39:16Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。