論文の概要: Noise Adaptor: Enhancing Low-Latency Spiking Neural Networks through Noise-Injected Low-Bit ANN Conversion

• arxiv url: http://arxiv.org/abs/2411.17431v1
• Date: Tue, 26 Nov 2024 13:39:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:36:46.865498
• Title: Noise Adaptor: Enhancing Low-Latency Spiking Neural Networks through Noise-Injected Low-Bit ANN Conversion
• Title（参考訳）: 雑音適応器:低ビットANN変換による低遅延スパイクニューラルネットワークの実現
• Authors: Chen Li, Bipin. Rajendran,
• Abstract要約: 雑音適応器は、競争力のある低遅延スパイクニューラルネットワーク(SNN)を構築するための新しい方法である 量子化ANNトレーニング中にノイズを注入することにより、ノイズアダプタはANNとSNNの動的差異をよりよく考慮する。 従来の手法とは異なり、ノイズアダプタはSNNにおける実行時ノイズ補正技術の適用を必要としない。
• 参考スコア（独自算出の注目度）: 3.8674054882510065
• License:
• Abstract: We present Noise Adaptor, a novel method for constructing competitive low-latency spiking neural networks (SNNs) by converting noise-injected, low-bit artificial neural networks (ANNs). This approach builds on existing ANN-to-SNN conversion techniques but offers several key improvements: (1) By injecting noise during quantized ANN training, Noise Adaptor better accounts for the dynamic differences between ANNs and SNNs, significantly enhancing SNN accuracy. (2) Unlike previous methods, Noise Adaptor does not require the application of run-time noise correction techniques in SNNs, thereby avoiding modifications to the spiking neuron model and control flow during inference. (3) Our method extends the capability of handling deeper architectures, achieving successful conversions of activation-quantized ResNet-101 and ResNet-152 to SNNs. We demonstrate the effectiveness of our method on CIFAR-10 and ImageNet, achieving competitive performance. The code will be made available as open-source.
• Abstract（参考訳）: 本稿では、雑音注入低ビット人工ニューラルネットワーク(ANN)を変換することで、競争力のある低遅延スパイクニューラルネットワーク(SNN)を構築するための新しい手法であるノイズ適応器を提案する。 このアプローチは、既存のANN-to-SNN変換技術に基づいているが、(1)量子化されたANNトレーニング中にノイズを注入することにより、ノイズアダプタはANNとSNNの動的差異を考慮し、SNNの精度を大幅に向上する。 2) 従来の手法とは異なり, 雑音適応器は, SNNに実行時ノイズ補正技術を適用する必要がなく, スパイキングニューロンモデルの変更や推論時の制御フローを回避することができる。 (3)より深いアーキテクチャを扱う能力を拡張し,活性化量子化されたResNet-101とResNet-152のSNNへの変換に成功した。 我々は,CIFAR-10とImageNetにおける提案手法の有効性を実証し,競合性能を実現する。 コードはオープンソースとして提供される予定だ。

関連論文リスト

• Training-free Conversion of Pretrained ANNs to SNNs for Low-Power and High-Performance Applications [23.502136316777058]
  人工ニューラルネットワーク(ANN)の代替としてスパイキングニューラルネットワーク(SNN)が登場した SNNの既存の教師付き学習アルゴリズムは、ANNのアルゴリズムよりもはるかに多くのメモリと時間を必要とする。 提案手法は,事前学習したANNモデルを,追加訓練を伴わずに,高性能なSNNに変換する。
  論文  参考訳（メタデータ） (2024-09-05T09:14:44Z)
• Converting High-Performance and Low-Latency SNNs through Explicit Modelling of Residual Error in ANNs [27.46147049872907]
  スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率とニューロモルフィックチップの優れた効果のために関心を集めている。 ディープSNNの実装における主要なアプローチの1つは、ANN-SNN変換である。 本稿では,残差を付加雑音として明示的にモデル化した新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-26T14:50:46Z)
• Noise Adaptor in Spiking Neural Networks [4.568827262994048]
  低遅延スパイクニューラルネットワーク(SNN)アルゴリズムは大きな関心を集めている。 低遅延SNNを構築する最も効率的な方法の1つは、事前訓練された低ビット人工ニューラルネットワーク(ANN)をSNNに変換することである。 SNNを低ビットのANNから変換すると、時折ノイズが発生する可能性がある。
  論文  参考訳（メタデータ） (2023-12-08T16:57:01Z)
• Spiking Neural Network Decision Feedback Equalization [70.3497683558609]
  決定フィードバック等化器(DFE)に似たフィードバック構造を持つSNNベースの等化器を提案する。 提案手法は,3種類の模範チャネルに対して,従来の線形等化器よりも明らかに優れていることを示す。 決定フィードバック構造を持つSNNは、競合エネルギー効率の良いトランシーバへのパスを可能にする。
  論文  参考訳（メタデータ） (2022-11-09T09:19:15Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks? [3.2108350580418166]
  スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。 SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-22T18:47:45Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Optimal Conversion of Conventional Artificial Neural Networks to Spiking Neural Networks [0.0]
  spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。 しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。 提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
  論文  参考訳（メタデータ） (2021-02-28T12:04:22Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。