論文の概要: Hardware-aware training of models with synaptic delays for digital event-driven neuromorphic processors

• arxiv url: http://arxiv.org/abs/2404.10597v1
• Date: Tue, 16 Apr 2024 14:22:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 16:34:29.944051
• Title: Hardware-aware training of models with synaptic delays for digital event-driven neuromorphic processors
• Title（参考訳）: デジタルイベント駆動型ニューロモルフィックプロセッサのシナプス遅延モデルにおけるハードウェア・アウェア・トレーニング
• Authors: Alberto Patino-Saucedo, Roy Meijer, Amirreza Yousefzadeh, Manil-Dev Gomony, Federico Corradi, Paul Detteter, Laura Garrido-Regife, Bernabe Linares-Barranco, Manolis Sifalakis,
• Abstract要約: 本稿では,高パフォーマンススパイキングニューラルネットワークモデル(SNN)を用いた,ディジタルニューロモルフィックハードウェアのトレーニングと展開のためのフレームワークを提案する。 トレーニングは、ネットワークサイズの関数として、シナプスウェイト精度やコア毎のパラメータの総数など、両方のプラットフォーム制約を考慮に入れている。 トレーニングされたモデルを、Intel LoihiとImec Senecaの2つのニューロモルフィックデジタルハードウェアプラットフォームで評価した。
• 参考スコア（独自算出の注目度）: 1.3415700412919966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Configurable synaptic delays are a basic feature in many neuromorphic neural network hardware accelerators. However, they have been rarely used in model implementations, despite their promising impact on performance and efficiency in tasks that exhibit complex (temporal) dynamics, as it has been unclear how to optimize them. In this work, we propose a framework to train and deploy, in digital neuromorphic hardware, highly performing spiking neural network models (SNNs) where apart from the synaptic weights, the per-synapse delays are also co-optimized. Leveraging spike-based back-propagation-through-time, the training accounts for both platform constraints, such as synaptic weight precision and the total number of parameters per core, as a function of the network size. In addition, a delay pruning technique is used to reduce memory footprint with a low cost in performance. We evaluate trained models in two neuromorphic digital hardware platforms: Intel Loihi and Imec Seneca. Loihi offers synaptic delay support using the so-called Ring-Buffer hardware structure. Seneca does not provide native hardware support for synaptic delays. A second contribution of this paper is therefore a novel area- and memory-efficient hardware structure for acceleration of synaptic delays, which we have integrated in Seneca. The evaluated benchmark involves several models for solving the SHD (Spiking Heidelberg Digits) classification task, where minimal accuracy degradation during the transition from software to hardware is demonstrated. To our knowledge, this is the first work showcasing how to train and deploy hardware-aware models parameterized with synaptic delays, on multicore neuromorphic hardware accelerators.
• Abstract（参考訳）: 構成可能なシナプス遅延は、多くのニューロモルフィックニューラルネットワークハードウェアアクセラレーターの基本的な特徴である。 しかしながら、複雑な(一時的な)ダイナミクスを示すタスクのパフォーマンスと効率に有望な影響があるにもかかわらず、モデル実装で使用されることはめったにない。 本研究では,デジタルニューロモルフィックハードウェアにおいて,シナプス重みの他,シナプス毎の遅延も協調最適化される,高パフォーマンスなスパイクニューラルネットワークモデル(SNN)を訓練し,展開するためのフレームワークを提案する。 スパイクベースのバックプロパゲーションスルータイムを活用することで、ネットワークサイズの関数として、シナプスウェイト精度やコア毎のパラメータの総数といった、両方のプラットフォーム制約をトレーニングする。 さらに、メモリフットプリントを低コストで削減するために遅延プルーニング技術を用いる。 トレーニングされたモデルを、Intel LoihiとImec Senecaの2つのニューロモルフィックデジタルハードウェアプラットフォームで評価した。 Loihiは、いわゆるRing-Bufferハードウェア構造を使ったシナプス遅延サポートを提供する。 Senecaは、シナプス遅延に対するネイティブハードウェアサポートを提供していない。 そこで本論文の2つ目の貢献は,セネカに集積したシナプス遅延の高速化のための,領域・メモリ効率の高いハードウェア構造である。 評価ベンチマークでは、SHD(Spiking Heidelberg Digits)分類タスクを解くためのモデルがいくつか含まれており、ソフトウェアからハードウェアへの移行に伴う最小の精度低下が示されている。 私たちの知る限り、マルチコアのニューロモルフィックハードウェアアクセラレーター上で、シナプス遅延をパラメータ化したハードウェア認識モデルのトレーニングとデプロイの方法を示す最初の研究である。

関連論文リスト

• A Realistic Simulation Framework for Analog/Digital Neuromorphic Architectures [73.65190161312555]
  ARCANAは、混合信号ニューロモルフィック回路の特性を考慮に入れたスパイクニューラルネットワークシミュレータである。 その結果,ソフトウェアでトレーニングしたスパイクニューラルネットワークの挙動を,信頼性の高い推定結果として提示した。
  論文  参考訳（メタデータ） (2024-09-23T11:16:46Z)
• DelGrad: Exact gradients in spiking networks for learning transmission delays and weights [0.9411751957919126]
  スパイキングニューラルネットワーク(SNN)は本質的には情報表現と処理のための信号のタイミングに依存している。 最近の研究は、これらの遅延とシナプス重みを学習する大きな利点を示している。 イベントベース方式で, シナプス重みと遅延の両方に関して, 正確な損失勾配を計算するための解析的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-30T00:02:34Z)
• PNAS-MOT: Multi-Modal Object Tracking with Pareto Neural Architecture Search [64.28335667655129]
  複数の物体追跡は、自律運転において重要な課題である。 トラッキングの精度が向上するにつれて、ニューラルネットワークはますます複雑になり、レイテンシが高いため、実際の運転シナリオにおける実践的な応用に課題が生じる。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法を用いて追跡のための効率的なアーキテクチャを探索し,比較的高い精度を維持しつつ,低リアルタイム遅延を実現することを目的とした。
  論文  参考訳（メタデータ） (2024-03-23T04:18:49Z)
• Braille Letter Reading: A Benchmark for Spatio-Temporal Pattern Recognition on Neuromorphic Hardware [50.380319968947035]
  近年の深層学習手法は,そのようなタスクにおいて精度が向上しているが,従来の組込みソリューションへの実装は依然として計算量が非常に高く,エネルギーコストも高い。 文字読み込みによるエッジにおける触覚パターン認識のための新しいベンチマークを提案する。 フィードフォワードとリカレントスパイキングニューラルネットワーク(SNN)を、サロゲート勾配の時間によるバックプロパゲーションを用いてオフラインでトレーニングし比較し、効率的な推論のためにIntel Loihimorphicチップにデプロイした。 LSTMは14%の精度で繰り返しSNNより優れており、Loihi上での繰り返しSNNは237倍のエネルギーである。
  論文  参考訳（メタデータ） (2022-05-30T14:30:45Z)
• MAPLE-X: Latency Prediction with Explicit Microprocessor Prior Knowledge [87.41163540910854]
  ディープニューラルネットワーク(DNN)レイテンシのキャラクタリゼーションは、時間を要するプロセスである。 ハードウェアデバイスの事前知識とDNNアーキテクチャのレイテンシを具体化し,MAPLEを拡張したMAPLE-Xを提案する。
  論文  参考訳（メタデータ） (2022-05-25T11:08:20Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Hardware-Friendly Synaptic Orders and Timescales in Liquid State Machines for Speech Classification [0.0]
  Liquid State Machinesは、ランダムな貯水池接続を備えた脳にインスパイアされたスパイクニューラルネットワーク(SNN)である。 差分(単一時間ステップの高出力)、0位(有限パルス幅の矩形)、第1位(指数降下)、第2位(指数昇降)といったシナプス的順序の役割を解析する。
  論文  参考訳（メタデータ） (2021-04-29T11:20:39Z)
• Compiling Spiking Neural Networks to Mitigate Neuromorphic Hardware Constraints [0.30458514384586394]
  スパイキングニューラルネットワーク(SNN)は、資源制約と電力制約のあるプラットフォーム上での計算制約付きパターン認識を効率的に行う。 ニューロモルフィックハードウェア上で実行されるSNNは、これらのプラットフォームのエネルギー消費をさらに削減することができる。
  論文  参考訳（メタデータ） (2020-11-27T19:10:23Z)
• Structural plasticity on an accelerated analog neuromorphic hardware system [0.46180371154032884]
  我々は, プレ・グポストシナプスのパートナーを常に切り替えることにより, 構造的可塑性を達成するための戦略を提案する。 我々はこのアルゴリズムをアナログニューロモルフィックシステムBrainScaleS-2に実装した。 ネットワークトポロジを最適化する能力を示し、簡単な教師付き学習シナリオで実装を評価した。
  論文  参考訳（メタデータ） (2019-12-27T10:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。