論文の概要: Coarse scale representation of spiking neural networks: backpropagation through spikes and application to neuromorphic hardware

• arxiv url: http://arxiv.org/abs/2007.06176v1
• Date: Mon, 13 Jul 2020 04:02:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 22:48:23.745873
• Title: Coarse scale representation of spiking neural networks: backpropagation through spikes and application to neuromorphic hardware
• Title（参考訳）: スパイクニューラルネットワークの粗いスケール表現:スパイクによるバックプロパゲーションとニューロモルフィックハードウェアへの応用
• Authors: Angel Yanguas-Gil
• Abstract要約: 絶対屈折時間に等しい時間スケールで作動する漏洩積分と発火ニューロンの繰り返し表現について検討する。 繰り返しモデルでは,訓練中に4本のスパイク列車のみを用いて,高い分類精度が得られることがわかった。 我々はまた、漏れやすい統合と発火ニューロンの継続的な実装への良い回帰も観察した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work we explore recurrent representations of leaky integrate and fire neurons operating at a timescale equal to their absolute refractory period. Our coarse time scale approximation is obtained using a probability distribution function for spike arrivals that is homogeneously distributed over this time interval. This leads to a discrete representation that exhibits the same dynamics as the continuous model, enabling efficient large scale simulations and backpropagation through the recurrent implementation. We use this approach to explore the training of deep spiking neural networks including convolutional, all-to-all connectivity, and maxpool layers directly in Pytorch. We found that the recurrent model leads to high classification accuracy using just 4-long spike trains during training. We also observed a good transfer back to continuous implementations of leaky integrate and fire neurons. Finally, we applied this approach to some of the standard control problems as a first step to explore reinforcement learning using neuromorphic chips.
• Abstract（参考訳）: 本研究では,その絶対屈折時間に等しい時間スケールで作動する漏洩積分と発火ニューロンの繰り返し表現について検討する。 我々の粗い時間スケール近似は、この時間間隔で均一に分布するスパイク到着の確率分布関数を用いて得られる。 これは、連続したモデルと同じダイナミクスを示す離散表現をもたらし、反復的な実装による効率的な大規模シミュレーションとバックプロパゲーションを可能にします。 このアプローチは、畳み込み、all-to-all接続、maxpool層を含むディープスパイキングニューラルネットワークのトレーニングをpytorch内で直接行うために使用します。 トレーニング中に4本のスパイク列車のみを用いて,再帰モデルにより高い分類精度が得られた。 我々はまた、漏れやすい統合と発火ニューロンの継続的な実装への良い回帰も観察した。 最後に,本手法をニューロモルフィックチップを用いた強化学習の第1ステップとして,標準的な制御問題に適用した。

関連論文リスト

• Gradient-free training of recurrent neural networks [3.272216546040443]
  本稿では,勾配に基づく手法を使わずに再帰型ニューラルネットワークの重みとバイアスを全て構成する計算手法を提案する。 このアプローチは、動的システムに対するランダムな特徴ネットワークとクープマン作用素理論の組み合わせに基づいている。 時系列の計算実験,カオス力学系の予測,制御問題などにおいて,構築したリカレントニューラルネットワークのトレーニング時間と予測精度が向上することが観察された。
  論文  参考訳（メタデータ） (2024-10-30T21:24:34Z)
• Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation [6.233189707488025]
  本稿では、適応LIFニューロンとそのネットワークの動的、計算的、および学習特性について分析する。 適応LIFニューロンのネットワークの優越性は、複雑な時系列の予測と生成にまで及んでいることを示す。
  論文  参考訳（メタデータ） (2024-08-14T12:49:58Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Continuous time recurrent neural networks: overview and application to forecasting blood glucose in the intensive care unit [56.801856519460465]
  連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。 重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
  論文  参考訳（メタデータ） (2023-04-14T09:39:06Z)
• An advanced spatio-temporal convolutional recurrent neural network for storm surge predictions [73.4962254843935]
  本研究では, 人工ニューラルネットワークモデルを用いて, 嵐の軌跡/規模/強度履歴に基づいて, 強風をエミュレートする能力について検討する。 本研究では, 人工嵐シミュレーションのデータベースを用いて, 強風を予測できるニューラルネットワークモデルを提案する。
  論文  参考訳（メタデータ） (2022-04-18T23:42:18Z)
• Stochastic Recurrent Neural Network for Multistep Time Series Forecasting [0.0]
  我々は、時系列予測のための繰り返しニューラルネットワークの適応を提案するために、深部生成モデルと状態空間モデルの概念の進歩を活用する。 私たちのモデルは、すべての関連情報が隠された状態でカプセル化されるリカレントニューラルネットワークのアーキテクチャ的な動作を保ち、この柔軟性により、モデルはシーケンシャルモデリングのために任意のディープアーキテクチャに簡単に統合できます。
  論文  参考訳（メタデータ） (2021-04-26T01:43:43Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Event-Based Backpropagation can compute Exact Gradients for Spiking Neural Networks [0.0]
  スパイクニューラルネットワークは、離散スパイクを用いたアナログ計算とイベントベースの通信を組み合わせる。 この研究は、連続時間スパイクニューラルネットワークと一般損失関数のバックプロパゲーションアルゴリズムを初めて導いた。 EventProp経由で計算した勾配を用いて,スパイク時間あるいは電圧に基づく損失関数を用いて,Yin-YangおよびMNISTデータセット上のネットワークをトレーニングし,競合性能を報告する。
  論文  参考訳（メタデータ） (2020-09-17T15:45:00Z)
• Supervised Learning in Temporally-Coded Spiking Neural Networks with Approximate Backpropagation [0.021506382989223777]
  本稿では,時間的に符号化された多層スパイキングネットワークのための教師付き学習手法を提案する。 この方法はバックプロパゲーションを模倣する強化信号を用いるが、計算集約性ははるかに低い。 シミュレーションされたMNIST手書き桁分類では、このルールで訓練された2層ネットワークは、同等のバックプロパゲーションベースの非スパイキングネットワークの性能と一致した。
  論文  参考訳（メタデータ） (2020-07-27T03:39:49Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。