論文の概要: Reinforcement co-Learning of Deep and Spiking Neural Networks for Energy-Efficient Mapless Navigation with Neuromorphic Hardware

• arxiv url: http://arxiv.org/abs/2003.01157v2
• Date: Fri, 31 Jul 2020 22:25:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 04:14:33.747061
• Title: Reinforcement co-Learning of Deep and Spiking Neural Networks for Energy-Efficient Mapless Navigation with Neuromorphic Hardware
• Title（参考訳）: ニューロモルフィックハードウェアを用いたエネルギー効率の高いマップレスナビゲーションのための深層・スパイキングニューラルネットワークの強化共学習
• Authors: Guangzhi Tang, Neelesh Kumar, Konstantinos P. Michmizos
• Abstract要約: スパイキングニューラルネットワークのエネルギー効率と深部強化学習(DRL)の最適性を組み合わせたニューロモルフィックアプローチを提案する。 筆者らのフレームワークは,スパイクアクターネットワーク(SAN)と深い批判ネットワークから構成されており,この2つのネットワークは勾配降下を用いて共同で訓練されている。 アプローチを評価するため、トレーニング済みのSANをIntelのLoihiニューロモルフィックプロセッサにデプロイした。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Energy-efficient mapless navigation is crucial for mobile robots as they explore unknown environments with limited on-board resources. Although the recent deep reinforcement learning (DRL) approaches have been successfully applied to navigation, their high energy consumption limits their use in several robotic applications. Here, we propose a neuromorphic approach that combines the energy-efficiency of spiking neural networks with the optimality of DRL and benchmark it in learning control policies for mapless navigation. Our hybrid framework, spiking deep deterministic policy gradient (SDDPG), consists of a spiking actor network (SAN) and a deep critic network, where the two networks were trained jointly using gradient descent. The co-learning enabled synergistic information exchange between the two networks, allowing them to overcome each other's limitations through a shared representation learning. To evaluate our approach, we deployed the trained SAN on Intel's Loihi neuromorphic processor. When validated on simulated and real-world complex environments, our method on Loihi consumed 75 times less energy per inference as compared to DDPG on Jetson TX2, and also exhibited a higher rate of successful navigation to the goal, which ranged from 1% to 4.2% and depended on the forward-propagation timestep size. These results reinforce our ongoing efforts to design brain-inspired algorithms for controlling autonomous robots with neuromorphic hardware.
• Abstract（参考訳）: エネルギー効率の良いマップレスナビゲーションは、限られたオンボードリソースで未知の環境を探索するモバイルロボットにとって不可欠である。 近年の深部強化学習(DRL)アプローチはナビゲーションに成功しているが、その高エネルギー消費はいくつかのロボットアプリケーションでの使用を制限する。 本稿では、スパイクニューラルネットワークのエネルギー効率とDRLの最適性を組み合わせたニューロモルフィックなアプローチを提案し、それをマップレスナビゲーションの学習制御ポリシーでベンチマークする。 我々のハイブリッド・フレームワークである深層決定主義的政策勾配(SDDPG)は、スパイキングアクターネットワーク(SAN)と深い批判ネットワークから構成されており、この2つのネットワークは勾配降下を用いて共同で訓練されている。 共同学習は、2つのネットワーク間の相乗的情報交換を可能にし、共有表現学習を通じて相互の制限を克服した。 アプローチを評価するため、トレーニング済みのSANをIntelのLoihiニューロモルフィックプロセッサにデプロイした。 シミュレーションおよび実世界の複雑な環境において,本手法はJetson TX2のDDPGと比較して75倍のエネルギーを消費し,目標への航法成功率も1%から4.2%に向上した。 これらの結果は、ニューロモルフィックハードウェアで自律ロボットを制御する脳に触発されたアルゴリズムを設計するための継続的な取り組みを強化する。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Hyp2Nav: Hyperbolic Planning and Curiosity for Crowd Navigation [58.574464340559466]
  我々は,群集ナビゲーションを実現するための双曲学習を提唱し,Hyp2Navを紹介した。 Hyp2Navは双曲幾何学の本質的な性質を活用し、ナビゲーションタスクにおける意思決定プロセスの階層的性質をよりよく符号化する。 本稿では, 効果的なソーシャルナビゲーション, 最高の成功率, 複数シミュレーション設定におけるリターンをもたらす, 双曲型ポリシーモデルと双曲型好奇性モジュールを提案する。
  論文  参考訳（メタデータ） (2024-07-18T14:40:33Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Enhanced Low-Dimensional Sensing Mapless Navigation of Terrestrial Mobile Robots Using Double Deep Reinforcement Learning Techniques [1.191504645891765]
  地上移動ロボットのためのマップレスナビゲーションの強化を目的とした2つのアプローチを提案する。 研究手法は主に、DQN(Deep Q-Network)アルゴリズムに基づくDeep-RL戦略と、DQN(Double Deep Q-Network)アルゴリズムに基づく代替アプローチの比較分析を含む。 提案手法は3つの異なる実環境において評価され、Double Deep構造は単純なQ構造に比べて移動ロボットのナビゲーション能力を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-10-20T20:47:07Z)
• Double Deep Reinforcement Learning Techniques for Low Dimensional Sensing Mapless Navigation of Terrestrial Mobile Robots [0.9175368456179858]
  本研究では,地上移動ロボットの地図レスナビゲーション問題を改善するために,Deep Reinforcement Learning (Deep-RL) の2つのアプローチを提案する。 本稿では,Deep Q-Network (DQN)アルゴリズムに基づくDeep-RL手法とDouble Deep Q-Network (DDQN)アルゴリズムに基づく第2のDouble Q-Network (DDQN)アルゴリズムとの比較に焦点をあてる。 学習の低次元センシング構造を用いることで,複雑なセンシング情報を用いることなく,ナビゲーション関連タスクや障害物回避をエージェントに教えることが可能であることを示す。
  論文  参考訳（メタデータ） (2023-01-26T15:23:59Z)
• Deterministic and Stochastic Analysis of Deep Reinforcement Learning for Low Dimensional Sensing-based Navigation of Mobile Robots [0.41562334038629606]
  本稿では,2つのDeep-RL手法-Deep Deterministic Policy Gradients (DDPG)とSoft Actor-Critic (SAC)の比較分析を行う。 本研究の目的は,ニューラルネットワークアーキテクチャが学習そのものにどのように影響するかを示し,各アプローチにおける空中移動ロボットの時間と距離に基づいて定量的な結果を示すことである。
  論文  参考訳（メタデータ） (2022-09-13T22:28:26Z)
• Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
  スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。 SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
  論文  参考訳（メタデータ） (2022-01-21T16:42:11Z)
• RAPID-RL: A Reconfigurable Architecture with Preemptive-Exits for Efficient Deep-Reinforcement Learning [7.990007201671364]
  効率的な深部RL(RAPID-RL)のためのプリエンプティブ出口を持つ再構成可能なアーキテクチャを提案する。 RAPID-RLは入力の難易度に基づいてプリエンプティブ層の条件付き活性化を可能にする。 RAPID-RL は Atari (Drone Navigation) タスクにおいて 0.88x (0.91x) 以上の性能を維持しながら, 演算数 0.34x (0.25x) を発生させることを示す。
  論文  参考訳（メタデータ） (2021-09-16T21:30:40Z)
• Deep Reinforcement Learning with Population-Coded Spiking Neural Network for Continuous Control [0.0]
  深層強化学習(DRL)を用いた深層批評家ネットワークと連携して訓練された集団符号化スパイキングアクターネットワーク(PopSAN)を提案する。 我々は、トレーニング済みのPopSANをIntelのLoihiニューロモルフィックチップにデプロイし、本手法をメインストリームのDRLアルゴリズムと比較し、連続的な制御を行った。 本研究はニューロモルフィックコントローラの効率性をサポートし,エネルギー効率とロバスト性の両方が重要である場合,我々のハイブリッドRLをディープラーニングの代替として提案する。
  論文  参考訳（メタデータ） (2020-10-19T16:20:45Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• Enhanced Adversarial Strategically-Timed Attacks against Deep Reinforcement Learning [91.13113161754022]
  本稿では,DRLに基づくナビゲーションシステムに対して,選択した時間フレーム上の物理ノイズパターンを妨害することにより,タイミングに基づく逆方向戦略を導入する。 実験結果から, 対向タイミング攻撃は性能低下を引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2020-02-20T21:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。