論文の概要: A Low Latency Adaptive Coding Spiking Framework for Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2211.11760v3
• Date: Wed, 24 Apr 2024 02:40:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-25 16:34:44.626931
• Title: A Low Latency Adaptive Coding Spiking Framework for Deep Reinforcement Learning
• Title（参考訳）: 深層強化学習のための低レイテンシ適応型符号化スパイクフレームワーク
• Authors: Lang Qin, Rui Yan, Huajin Tang,
• Abstract要約: 本稿では,学習可能な行列乗法を用いてスパイクのエンコードとデコードを行い,コーダの柔軟性を向上させる。 直接学習法を用いてSNNを訓練し、オンラインとオフラインのRLアルゴリズムに2つの異なる構造を用いる。 実験の結果,超低レイテンシで最適性能を実現し,エネルギー効率に優れることがわかった。
• 参考スコア（独自算出の注目度）: 27.558298367330053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, spiking neural networks (SNNs) have been used in reinforcement learning (RL) due to their low power consumption and event-driven features. However, spiking reinforcement learning (SRL), which suffers from fixed coding methods, still faces the problems of high latency and poor versatility. In this paper, we use learnable matrix multiplication to encode and decode spikes, improving the flexibility of the coders and thus reducing latency. Meanwhile, we train the SNNs using the direct training method and use two different structures for online and offline RL algorithms, which gives our model a wider range of applications. Extensive experiments have revealed that our method achieves optimal performance with ultra-low latency (as low as 0.8% of other SRL methods) and excellent energy efficiency (up to 5X the DNNs) in different algorithms and different environments.
• Abstract（参考訳）: 近年,低消費電力化とイベント駆動機能により,強化学習(RL)にスパイクニューラルネットワーク(SNN)が用いられている。 しかし、固定符号法に苦しむスパイキング強化学習(SRL)は、高レイテンシと低汎用性の問題に直面している。 本稿では,学習可能な行列乗法を用いてスパイクのエンコードとデコードを行い,コーダの柔軟性を改善し,遅延を低減する。 一方、直接学習法を用いてSNNを訓練し、オンラインとオフラインのRLアルゴリズムに2つの異なる構造を用いる。 超低レイテンシ(他のSRL手法の0.8%以下)と、異なるアルゴリズムと異なる環境下でのエネルギー効率(DNNの最大5倍)で最適性能を実現することを発見した。

関連論文リスト

• Multiobjective Vehicle Routing Optimization with Time Windows: A Hybrid Approach Using Deep Reinforcement Learning and NSGA-II [52.083337333478674]
  本稿では、時間窓を用いた多目的車両ルーティング問題(MOVRPTW)に対処するために、ウェイト・アウェア・ディープ・強化学習(WADRL)手法を提案する。 WADRLの結果を最適化するために非支配的ソート遺伝的アルゴリズム-II (NSGA-II) 法を用いる。
  論文  参考訳（メタデータ） (2024-07-18T02:46:06Z)
• Neural Network Compression for Reinforcement Learning Tasks [1.0124625066746595]
  ロボット工学などの強化学習(RL)の実応用では、低レイテンシとエネルギー効率の推論が非常に望ましい。 ニューラルネット推論の最適化、特にエネルギーと遅延効率を改善するために、スパーシリティとプルーニングを使用することは、標準的なテクニックである。 本研究では、異なるRL環境におけるRLアルゴリズムに対するこれらの最適化手法の適用を系統的に検討し、ニューラルネットワークのサイズを最大400倍に削減する。
  論文  参考訳（メタデータ） (2024-05-13T13:46:02Z)
• Contrastive UCB: Provably Efficient Contrastive Self-Supervised Learning in Online Reinforcement Learning [92.18524491615548]
  対照的な自己指導型学習は、(深層)強化学習(RL)の実践にうまく統合されている 我々は,低ランク遷移を伴うマルコフ決定過程(MDP)とマルコフゲーム(MG)のクラスにおいて,コントラスト学習によってRLをどのように強化できるかを検討する。 オンライン環境下では,MDPやMGのオンラインRLアルゴリズムと対照的な損失を生かした,新しい高信頼境界(UCB)型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-29T17:29:08Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
  スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。 SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
  論文  参考訳（メタデータ） (2022-01-21T16:42:11Z)
• Single-Shot Pruning for Offline Reinforcement Learning [47.886329599997474]
  深層強化学習(Deep Reinforcement Learning, RL)は、複雑な現実世界の問題を解決するための強力なフレームワークである。 この問題に対処するひとつの方法は、必要なパラメータだけを残したニューラルネットワークをプルークすることです。 我々は,RLと単発プルーニングのギャップを埋め,オフラインRLに対する一般的なプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-12-31T18:10:02Z)
• Training Energy-Efficient Deep Spiking Neural Networks with Single-Spike Hybrid Input Encoding [5.725845886457027]
  スパイキングニューラルネットワーク(SNN)は、イベント駆動型ニューロモルフィックハードウェアにおいて高い計算効率を提供する。 SNNは、非効率な入力符号化とトレーニング技術により、高い推論遅延に悩まされる。 本稿では低遅延エネルギー効率SNNのためのトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-26T06:16:40Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)
• Can Increasing Input Dimensionality Improve Deep Reinforcement Learning? [15.578423102700764]
  本稿では,ニューラルネットを用いたオンライン特徴抽出ネットワーク(OFENet)を提案する。 我々はRLエージェントが低次元状態観測よりも高次元表現でより効率的に学習できることを示す。
  論文  参考訳（メタデータ） (2020-03-03T16:52:05Z)
• PoPS: Policy Pruning and Shrinking for Deep Reinforcement Learning [16.269923100433232]
  DRLモデルを高い性能で訓練するための,PoPS(Po Policy Pruning and Shrinking)と呼ばれる作業アルゴリズムを開発した。 PoPSは、トランスファーラーニングの力を利用する、新しい反復的なポリシープルーニングと縮小法に基づいている。 本稿では,一般的なCartpole環境,Lunar Lander環境,Pong環境,Pacman環境を用いて,PoPSの強い性能を示す実験を行った。
  論文  参考訳（メタデータ） (2020-01-14T19:28:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。