論文の概要: Active Dendrites Enable Efficient Continual Learning in Time-To-First-Spike Neural Networks

• arxiv url: http://arxiv.org/abs/2404.19419v2
• Date: Tue, 11 Jun 2024 11:34:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 21:53:26.029737
• Title: Active Dendrites Enable Efficient Continual Learning in Time-To-First-Spike Neural Networks
• Title（参考訳）: 時間対1スパイクニューラルネットワークにおける効率的な連続学習を可能にするアクティブデンドライト
• Authors: Lorenzo Pes, Rick Luiken, Federico Corradi, Charlotte Frenkel,
• Abstract要約: 活性デンドライトで強化された新しいスパイキングニューラルネットワークモデルを提案する。 我々のモデルは、時間的に符号化されたSNNにおいて破滅的な忘れを効果的に軽減することができる。 エッジデバイスにおける現実的なデプロイメントを実現するための,新たなディジタルハードウェアアーキテクチャを提供する。
• 参考スコア（独自算出の注目度）: 1.7333836118546833
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While the human brain efficiently adapts to new tasks from a continuous stream of information, neural network models struggle to learn from sequential information without catastrophically forgetting previously learned tasks. This limitation presents a significant hurdle in deploying edge devices in real-world scenarios where information is presented in an inherently sequential manner. Active dendrites of pyramidal neurons play an important role in the brain ability to learn new tasks incrementally. By exploiting key properties of time-to-first-spike encoding and leveraging its high sparsity, we present a novel spiking neural network model enhanced with active dendrites. Our model can efficiently mitigate catastrophic forgetting in temporally-encoded SNNs, which we demonstrate with an end-of-training accuracy across tasks of 88.3% on the test set using the Split MNIST dataset. Furthermore, we provide a novel digital hardware architecture that paves the way for real-world deployment in edge devices. Using a Xilinx Zynq-7020 SoC FPGA, we demonstrate a 100-% match with our quantized software model, achieving an average inference time of 37.3 ms and an 80.0% accuracy.
• Abstract（参考訳）: 人間の脳は、連続した情報のストリームから新しいタスクに効率的に適応するが、ニューラルネットワークモデルは、これまで学んだタスクを破滅的に忘れずに、シーケンシャルな情報から学ぶのに苦労する。 この制限は、情報が本質的にシーケンシャルな方法で提示される現実のシナリオにおいて、エッジデバイスをデプロイする上で大きなハードルとなる。 錐体ニューロンの活発な樹状突起は、新しいタスクを段階的に学習する脳の能力において重要な役割を担っている。 そこで本研究では, アクティブデンドライトを応用したスパイクニューラルネットワークモデルを提案する。 我々のモデルは、時間的に符号化されたSNNにおける破滅的な忘れを効果的に軽減し、Split MNISTデータセットを用いてテストセット上の88.3%のタスクで学習終了精度を実証する。 さらに、エッジデバイスでの現実的なデプロイメントを実現するための、新しいデジタルハードウェアアーキテクチャも提供しています。 Xilinx Zynq-7020 SoC FPGAを用いて、量子化されたソフトウェアモデルと100-%の一致を示し、平均推定時間は37.3ms、精度は80.0%である。

関連論文リスト

• STOP: Spatiotemporal Orthogonal Propagation for Weight-Threshold-Leakage Synergistic Training of Deep Spiking Neural Networks [11.85044871205734]
  疎疎なバイナリアクティベーションに基づくディープニューラルネットワーク(SNN)モデルは、効率的で高精度なSNNディープラーニングアルゴリズムを欠いている。 我々のアルゴリズムは、シナプス重みを発射する完全相乗的学習アルゴリズムと、ニューロンのしきい値とスパイク因子を併用することにより、SNNの精度を向上させる。 統合された時間的フォワードトレースベースのフレームワークの下では、前方パスにすべての時間ステップのニューラルステートを格納するための巨大なメモリ要件を緩和する。 本手法は,資源に制限があるが高精度なインサイト学習が望まれるエッジインテリジェントシナリオに対して,より有効な方法である。
  論文  参考訳（メタデータ） (2024-11-17T14:15:54Z)
• Scalable Mechanistic Neural Networks [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• Stochastic Spiking Neural Networks with First-to-Spike Coding [7.955633422160267]
  スパイキングニューラルネットワーク (SNN) は、その生物の楽観性とエネルギー効率で知られている。 本研究では,SNNアーキテクチャにおける新しい計算手法と情報符号化方式の融合について検討する。 提案手法のトレードオフを,精度,推論遅延,スパイク空間性,エネルギー消費,データセットの観点から検討する。
  論文  参考訳（メタデータ） (2024-04-26T22:52:23Z)
• YFlows: Systematic Dataflow Exploration and Code Generation for Efficient Neural Network Inference using SIMD Architectures on CPUs [3.1445034800095413]
  CPU上にニューラルネットワークをデプロイする際の課題に対処する。 我々の新しいアプローチは、ニューラルネットワークのデータフローを使用して、データ再利用の機会を探ることです。 その結果,SIMDレジスタに出力を保持するデータフローが常に最高の性能を示すことがわかった。
  論文  参考訳（メタデータ） (2023-10-01T05:11:54Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• PC-SNN: Supervised Learning with Local Hebbian Synaptic Plasticity based on Predictive Coding in Spiking Neural Networks [1.6172800007896282]
  本稿では,予測符号化理論に触発された新しい学習アルゴリズムを提案する。 教師あり学習を完全自律的に行うことができ、バックプロップとして成功することを示す。 この手法は,最先端の多層SNNと比較して,良好な性能を実現する。
  論文  参考訳（メタデータ） (2022-11-24T09:56:02Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Neural Networks and Value at Risk [59.85784504799224]
  リスクしきい値推定における資産価値のモンテカルロシミュレーションを行う。 株式市場と長期債を試験資産として利用し、ニューラルネットワークについて検討する。 はるかに少ないデータでフィードされたネットワークは、大幅にパフォーマンスが悪くなっています。
  論文  参考訳（メタデータ） (2020-05-04T17:41:59Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• A Spike in Performance: Training Hybrid-Spiking Neural Networks with Quantized Activation Functions [6.574517227976925]
  Spiking Neural Network(SNN)は、エネルギー効率の高いコンピューティングに対する有望なアプローチである。 我々は、非スパイキングネットワークをSNNに変換する際に、最先端の精度を維持する方法を示す。
  論文  参考訳（メタデータ） (2020-02-10T05:24:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。