論文の概要: Improving Performance of Spike-based Deep Q-Learning using Ternary Neurons

• arxiv url: http://arxiv.org/abs/2506.03392v1
• Date: Tue, 03 Jun 2025 21:06:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.053065
• Title: Improving Performance of Spike-based Deep Q-Learning using Ternary Neurons
• Title（参考訳）: 3次ニューロンを用いたスパイク型深部Q-Learningの性能向上
• Authors: Aref Ghoreishee, Abhishek Mishra, John Walsh, Anup Das, Nagarajan Kandasamy,
• Abstract要約: 3次スパイクニューロンモデルの性能は、深部Q-ラーニングタスクにおける2次モデルよりも劣っていることを示す。 本稿では,3次スパイクニューロンモデルを提案し,推定バイアスを低減してこの問題を軽減する。 その結果, 提案した3次スパイクニューロンは, 学習課題における3次ニューロンの劇的な性能低下を緩和することがわかった。
• 参考スコア（独自算出の注目度）: 3.3062248565028463
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a new ternary spiking neuron model to improve the representation capacity of binary spiking neurons in deep Q-learning. Although a ternary neuron model has recently been introduced to overcome the limited representation capacity offered by the binary spiking neurons, we show that its performance is worse than that of binary models in deep Q-learning tasks. We hypothesize gradient estimation bias during the training process as the underlying potential cause through mathematical and empirical analysis. We propose a novel ternary spiking neuron model to mitigate this issue by reducing the estimation bias. We use the proposed ternary spiking neuron as the fundamental computing unit in a deep spiking Q-learning network (DSQN) and evaluate the network's performance in seven Atari games from the Gym environment. Results show that the proposed ternary spiking neuron mitigates the drastic performance degradation of ternary neurons in Q-learning tasks and improves the network performance compared to the existing binary neurons, making DSQN a more practical solution for on-board autonomous decision-making tasks.
• Abstract（参考訳）: 深部Q-ラーニングにおける2次スパイキングニューロンの表現能力を向上させるために,3次スパイキングニューロンモデルを提案する。 3次ニューロンモデルが最近導入され、2次スパイクニューロンの表現能力の限界を克服しているが、その性能は深部Q-ラーニングタスクにおける2次モデルよりも劣っている。 我々は、数学的および経験的分析により、トレーニングプロセス中の勾配推定バイアスを潜在的な原因として仮説を立てる。 本稿では,3次スパイクニューロンモデルを提案し,推定バイアスを低減してこの問題を軽減する。 提案した3次スパイクニューロンを,深層スパイクQラーニングネットワーク(DSQN)の基本演算ユニットとして使用し,Gym環境における7つのAtariゲームにおけるネットワークの性能を評価する。 提案した3次スパイクニューロンは、Qラーニングタスクにおける3次ニューロンの劇的な性能低下を軽減し、既存の2次ニューロンと比較してネットワーク性能を向上し、DSQNを車載自律意思決定タスクのより実用的なソリューションであることを示す。

関連論文リスト

• Seeking Next Layer Neurons' Attention for Error-Backpropagation-Like Training in a Multi-Agent Network Framework [6.446189857311325]
  本研究は, ニューロンの局所的な目的として, エラーのバックプロパゲーションと類似性を示すことを提案する。 本研究では,局所的な目的を最大化するために,自律神経系と自律神経系を組み合わせたニューラルネットワークについて検討する。 3つのデータセットの実験を通して、これらのマルチエージェントニューラルネットワークの学習能力を実証する。
  論文  参考訳（メタデータ） (2023-10-15T21:07:09Z)
• Computational and Storage Efficient Quadratic Neurons for Deep Neural Networks [10.379191500493503]
  実験により、提案した二次ニューロン構造は、様々なタスクにおいて優れた計算効率と記憶効率を示すことが示された。 本研究は、2次計算情報の高度活用によって区別される2次ニューロンアーキテクチャを導入する。
  論文  参考訳（メタデータ） (2023-06-10T11:25:31Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
  スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。 SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
  論文  参考訳（メタデータ） (2022-01-21T16:42:11Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks [0.9790524827475205]
  本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。 我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
  論文  参考訳（メタデータ） (2020-05-24T01:04:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。