論文の概要: SpikeRL: A Scalable and Energy-efficient Framework for Deep Spiking Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2502.17496v1
• Date: Fri, 21 Feb 2025 05:28:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:23:54.687632
• Title: SpikeRL: A Scalable and Energy-efficient Framework for Deep Spiking Reinforcement Learning
• Title（参考訳）: SpikeRL: ディープスパイキング強化学習のためのスケーラブルでエネルギー効率の良いフレームワーク
• Authors: Tokey Tahmid, Mark Gates, Piotr Luszczek, Catherine D. Schuman,
• Abstract要約: SpikeRLは、DeepRLベースのSNNのためのスケーラブルでエネルギー効率のよいフレームワークである。 新しいSpikeRLの実装は、最先端のDeepRL-SNN法よりも4.26倍高速で、2.25倍エネルギー効率が高い。
• 参考スコア（独自算出の注目度）: 1.6999370482438731
• License:
• Abstract: In this era of AI revolution, massive investments in large-scale data-driven AI systems demand high-performance computing, consuming tremendous energy and resources. This trend raises new challenges in optimizing sustainability without sacrificing scalability or performance. Among the energy-efficient alternatives of the traditional Von Neumann architecture, neuromorphic computing and its Spiking Neural Networks (SNNs) are a promising choice due to their inherent energy efficiency. However, in some real-world application scenarios such as complex continuous control tasks, SNNs often lack the performance optimizations that traditional artificial neural networks have. Researchers have addressed this by combining SNNs with Deep Reinforcement Learning (DeepRL), yet scalability remains unexplored. In this paper, we extend our previous work on SpikeRL, which is a scalable and energy efficient framework for DeepRL-based SNNs for continuous control. In our initial implementation of SpikeRL framework, we depended on the population encoding from the Population-coded Spiking Actor Network (PopSAN) method for our SNN model and implemented distributed training with Message Passing Interface (MPI) through mpi4py. Also, further optimizing our model training by using mixed-precision for parameter updates. In our new SpikeRL framework, we have implemented our own DeepRL-SNN component with population encoding, and distributed training with PyTorch Distributed package with NCCL backend while still optimizing with mixed precision training. Our new SpikeRL implementation is 4.26X faster and 2.25X more energy efficient than state-of-the-art DeepRL-SNN methods. Our proposed SpikeRL framework demonstrates a truly scalable and sustainable solution for complex continuous control tasks in real-world applications.
• Abstract（参考訳）: このAI革命の時代に、大規模データ駆動型AIシステムへの大規模な投資はハイパフォーマンスコンピューティングを必要とし、膨大なエネルギーとリソースを消費する。 この傾向は、スケーラビリティやパフォーマンスを犠牲にすることなく、サステナビリティを最適化する上で、新たな課題を提起する。 従来のフォン・ノイマンアーキテクチャのエネルギー効率の代替案の中で、ニューロモルフィック・コンピューティングとそのスパイキング・ニューラル・ニューラルネットワーク(SNN)はその固有のエネルギー効率のために有望な選択である。 しかしながら、複雑な継続的制御タスクのような現実的なアプリケーションシナリオでは、SNNは従来の人工知能ニューラルネットワークが持つパフォーマンスの最適化を欠いていることが多い。 研究者はSNNとDeep Reinforcement Learning (DeepRL)を組み合わせることでこの問題に対処しているが、スケーラビリティはまだ検討されていない。 本稿では、DeepRLベースのSNNを連続制御するためのスケーラブルでエネルギー効率の良いフレームワークであるSpikeRLについて、これまでの研究を拡張した。 SpikeRL フレームワークの初期実装では、SNN モデルのための Population-coded Spiking Actor Network (PopSAN) メソッドの集団エンコーディングに依存し、mpi4py を通じて Message Passing Interface (MPI) を用いた分散トレーニングを実装した。 また、パラメータ更新に混合精度を用いることで、モデルトレーニングをさらに最適化する。 新しいSpikeRLフレームワークでは、集団エンコーディングを備えた独自のDeepRL-SNNコンポーネントを実装し、NCCLバックエンドを備えたPyTorch Distributedパッケージによる分散トレーニングを、混合精度トレーニングで最適化しながら実施しています。 新しいSpikeRLの実装は、最先端のDeepRL-SNN法よりも4.26倍高速で、2.25倍エネルギー効率が高い。 提案したSpikeRLフレームワークは,実世界のアプリケーションにおける複雑な継続的制御タスクに対して,真にスケーラブルで持続可能なソリューションを実証する。

関連論文リスト

• Achieving Network Resilience through Graph Neural Network-enabled Deep Reinforcement Learning [64.20847540439318]
  深層強化学習(DRL)は多くの重要な通信ネットワークのタスクで広く利用されている。 グラフニューラルネットワーク(GNN)とDRLを組み合わせて、GNNを用いてネットワークの非構造的特徴を抽出する研究もある。 本稿では,GNNとDRLを組み合わせたレジリエントネットワークの構築について検討する。
  論文  参考訳（メタデータ） (2025-01-19T15:22:17Z)
• DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
  本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。 我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。 拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-11T06:31:03Z)
• Spyx: A Library for Just-In-Time Compiled Optimization of Spiking Neural Networks [0.08965418284317034]
  Spiking Neural Networks(SNN)は、小さくて低消費電力なハードウェアフットプリントによるエネルギー効率の向上を提供する。 本稿では、JAXで設計された新しい軽量SNNシミュレーションおよび最適化ライブラリSpyxを紹介する。
  論文  参考訳（メタデータ） (2024-02-29T09:46:44Z)
• A Low Latency Adaptive Coding Spiking Framework for Deep Reinforcement Learning [27.558298367330053]
  本稿では,学習可能な行列乗法を用いてスパイクのエンコードとデコードを行い,コーダの柔軟性を向上させる。 直接学習法を用いてSNNを訓練し、オンラインとオフラインのRLアルゴリズムに2つの異なる構造を用いる。 実験の結果,超低レイテンシで最適性能を実現し,エネルギー効率に優れることがわかった。
  論文  参考訳（メタデータ） (2022-11-21T07:26:56Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
  スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。 SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
  論文  参考訳（メタデータ） (2022-01-21T16:42:11Z)
• Single-Shot Pruning for Offline Reinforcement Learning [47.886329599997474]
  深層強化学習(Deep Reinforcement Learning, RL)は、複雑な現実世界の問題を解決するための強力なフレームワークである。 この問題に対処するひとつの方法は、必要なパラメータだけを残したニューラルネットワークをプルークすることです。 我々は,RLと単発プルーニングのギャップを埋め,オフラインRLに対する一般的なプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-12-31T18:10:02Z)
• RAPID-RL: A Reconfigurable Architecture with Preemptive-Exits for Efficient Deep-Reinforcement Learning [7.990007201671364]
  効率的な深部RL(RAPID-RL)のためのプリエンプティブ出口を持つ再構成可能なアーキテクチャを提案する。 RAPID-RLは入力の難易度に基づいてプリエンプティブ層の条件付き活性化を可能にする。 RAPID-RL は Atari (Drone Navigation) タスクにおいて 0.88x (0.91x) 以上の性能を維持しながら, 演算数 0.34x (0.25x) を発生させることを示す。
  論文  参考訳（メタデータ） (2021-09-16T21:30:40Z)
• Deep Reinforcement Learning with Population-Coded Spiking Neural Network for Continuous Control [0.0]
  深層強化学習(DRL)を用いた深層批評家ネットワークと連携して訓練された集団符号化スパイキングアクターネットワーク(PopSAN)を提案する。 我々は、トレーニング済みのPopSANをIntelのLoihiニューロモルフィックチップにデプロイし、本手法をメインストリームのDRLアルゴリズムと比較し、連続的な制御を行った。 本研究はニューロモルフィックコントローラの効率性をサポートし,エネルギー効率とロバスト性の両方が重要である場合,我々のハイブリッドRLをディープラーニングの代替として提案する。
  論文  参考訳（メタデータ） (2020-10-19T16:20:45Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。