論文の概要: Bellman Memory Units: A neuromorphic framework for synaptic reinforcement learning with an evolving network topology

• arxiv url: http://arxiv.org/abs/2511.16066v1
• Date: Thu, 20 Nov 2025 05:57:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-21 17:08:52.485245
• Title: Bellman Memory Units: A neuromorphic framework for synaptic reinforcement learning with an evolving network topology
• Title（参考訳）: Bellman Memory Units: 進化するネットワークトポロジーを用いたシナプス強化学習のためのニューロモルフィックフレームワーク
• Authors: Shreyan Banerjee, Aasifa Rounak, Vikram Pakrashi,
• Abstract要約: 本稿では,ベルマン方程式をシナプスレベルで組み込んだ古典カルトポール制御のためのシナプスQ-ラーニングアルゴリズムを提案する。 トポロジーの進化は、混合信号計算とともに、ニューロンとシナプスの数を最適化する。 この研究で導入され、ニューロモルフィックチップに実装されたオンチップ学習は、目に見えない制御シナリオへの適応を可能にする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Application of neuromorphic edge devices for control is limited by the constraints on gradient-free online learning and scalability of the hardware across control problems. This paper introduces a synaptic Q-learning algorithm for the control of the classical Cartpole, where the Bellman equations are incorporated at the synaptic level. This formulation enables the iterative evolution of the network topology, represented as a directed graph, throughout the training process. This is followed by a similar approach called neuromorphic Bellman Memory Units (BMU(s)), which are implemented with the Neural Engineering Framework on Intel's Loihi neuromorphic chip. Topology evolution, in conjunction with mixed-signal computation, leverages the optimization of the number of neurons and synapses that could be used to design spike-based reinforcement learning accelerators. The proposed architecture can potentially reduce resource utilization on board, aiding the manufacturing of compact application-specific neuromorphic ICs. Moreover, the on-chip learning introduced in this work and implemented on a neuromorphic chip can enable adaptation to unseen control scenarios.
• Abstract（参考訳）: 制御問題に対するニューロモルフィックエッジデバイスの適用は、勾配のないオンライン学習と、制御問題を越えたハードウェアのスケーラビリティの制約によって制限される。 本稿では,ベルマン方程式をシナプスレベルで組み込んだ古典カルトポール制御のためのシナプスQ-ラーニングアルゴリズムを提案する。 この定式化は、トレーニングプロセスを通して、有向グラフとして表されるネットワークトポロジの反復的進化を可能にする。 これは、IntelのLoihiニューロモーフィックチップ上のNeural Engineering Frameworkで実装されたニューロモーフィックベルマンメモリユニット(英語版)(BMU(s))と呼ばれる同様のアプローチに続く。 トポロジーの進化は、混合信号計算とともに、スパイクベースの強化学習加速器の設計に使用できるニューロンの数とシナプスの最適化を利用する。 提案アーキテクチャは、コンパクトなアプリケーション固有のニューロモルフィックICの製造を支援するため、ボード上での資源利用を削減できる可能性がある。 さらに、本研究で導入され、ニューロモルフィックチップに実装されたオンチップ学習は、目に見えない制御シナリオへの適応を可能にする。

関連論文リスト

• NeoHebbian Synapses to Accelerate Online Training of Neuromorphic Hardware [0.03377254151446239]
  ReRAMデバイスを用いた新しいネオヘビアン人工シナプスが提案され、実験的に検証されている。 様々なデバイスやシステムレベルの非理想を考慮に入れたシステムレベルのシミュレーションは、これらのシナプスがニューロモルフィックハードウェアにおける高度な学習規則の高速でコンパクトでエネルギー効率の高い実装に堅牢なソリューションを提供することを確認した。
  論文  参考訳（メタデータ） (2024-11-27T12:06:15Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
  スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。 我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
  論文  参考訳（メタデータ） (2023-10-25T13:15:17Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• An error-propagation spiking neural network compatible with neuromorphic processors [2.432141667343098]
  本稿では,局所的な重み更新機構を用いたバックプロパゲーションを近似したスパイクに基づく学習手法を提案する。 本稿では,重み更新機構による誤り信号のバックプロパゲートを可能にするネットワークアーキテクチャを提案する。 この研究は、超低消費電力混合信号ニューロモルフィック処理系の設計に向けた第一歩である。
  論文  参考訳（メタデータ） (2021-04-12T07:21:08Z)
• On-Chip Error-triggered Learning of Multi-layer Memristive Spiking Neural Networks [1.7958576850695402]
  オンライン3次重み更新を用いた局所的,勾配に基づく,エラートリガー付き学習アルゴリズムを提案する。 提案アルゴリズムは,多層SNNを記憶型ニューロモルフィックハードウェアでオンライントレーニングすることを可能にする。
  論文  参考訳（メタデータ） (2020-11-21T19:44:19Z)
• Ultra-Low-Power FDSOI Neural Circuits for Extreme-Edge Neuromorphic Intelligence [2.6199663901387997]
  インメモリコンピューティング 混合信号ニューロモルフィックアーキテクチャはエッジコンピューティングのセンサ処理への応用に期待できる超低消費電力のソリューションを提供する。 本稿では、FDSOI(Fully-Depleted Silicon on Insulator)統合プロセスの特徴を利用する混合信号アナログ/デジタル回路を提案する。
  論文  参考訳（メタデータ） (2020-06-25T09:31:29Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)
• Structural plasticity on an accelerated analog neuromorphic hardware system [0.46180371154032884]
  我々は, プレ・グポストシナプスのパートナーを常に切り替えることにより, 構造的可塑性を達成するための戦略を提案する。 我々はこのアルゴリズムをアナログニューロモルフィックシステムBrainScaleS-2に実装した。 ネットワークトポロジを最適化する能力を示し、簡単な教師付き学習シナリオで実装を評価した。
  論文  参考訳（メタデータ） (2019-12-27T10:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。