Fugu-MT 論文翻訳(概要): FTBC: Forward Temporal Bias Correction for Optimizing ANN-SNN Conversion

論文の概要: FTBC: Forward Temporal Bias Correction for Optimizing ANN-SNN Conversion

arxiv url: http://arxiv.org/abs/2403.18388v1
Date: Wed, 27 Mar 2024 09:25:20 GMT
ステータス: 処理完了
システム内更新日: 2024-03-28 17:37:28.023836
Title: FTBC: Forward Temporal Bias Correction for Optimizing ANN-SNN Conversion
Title（参考訳）: FTBC: ANN-SNN変換の最適化のための時間的バイアス補正
Authors: Xiaofeng Wu, Velibor Bojkovic, Bin Gu, Kun Suo, Kai Zou,
Abstract要約: Spiking Neural Networks(SNN)は、ニューラルネットワーク(ANN)と比較して、エネルギー効率の高いコンピューティングのための有望な道を提供する本稿では,計算オーバーヘッドを伴わずに変換精度を向上させることを目的とした,FTBC(Forward Temporal Bias)技術を紹介する。さらに,前方通過のみの時間偏差を求めるアルゴリズムを提案し,逆伝播の計算負担を軽減した。
参考スコア（独自算出の注目度）: 16.9748086865693
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Spiking Neural Networks (SNNs) offer a promising avenue for energy-efficient computing compared with Artificial Neural Networks (ANNs), closely mirroring biological neural processes. However, this potential comes with inherent challenges in directly training SNNs through spatio-temporal backpropagation -- stemming from the temporal dynamics of spiking neurons and their discrete signal processing -- which necessitates alternative ways of training, most notably through ANN-SNN conversion. In this work, we introduce a lightweight Forward Temporal Bias Correction (FTBC) technique, aimed at enhancing conversion accuracy without the computational overhead. We ground our method on provided theoretical findings that through proper temporal bias calibration the expected error of ANN-SNN conversion can be reduced to be zero after each time step. We further propose a heuristic algorithm for finding the temporal bias only in the forward pass, thus eliminating the computational burden of backpropagation and we evaluate our method on CIFAR-10/100 and ImageNet datasets, achieving a notable increase in accuracy on all datasets. Codes are released at a GitHub repository.
Abstract（参考訳）: Spiking Neural Networks(SNN)は、ニューラルネットワーク(ANN)と比較して、エネルギー効率の高いコンピューティングのための有望な道を提供する。しかしながら、このポテンシャルは、時空間バックプロパゲーション(スパイキングニューロンの時間的ダイナミクスとその離散信号処理)を通じてSNNを直接訓練する際の固有の課題、特にANN-SNN変換による代替的な訓練方法を必要とする。本稿では,計算オーバーヘッドを伴わずに変換精度を向上させることを目的とした,FTBC(Forward Temporal Bias Correction)技術を紹介する。提案手法は, 適切な時間偏差校正により, ANN-SNN変換の予測誤差を時間ステップ毎にゼロに抑えることができるという理論的な知見に基づく。さらに,前向きパスのみの時間偏差を求めるヒューリスティックアルゴリズムを提案し,バックプロパゲーションの計算負担を軽減し,CIFAR-10/100およびImageNetデータセット上での手法の評価を行い,全データセットにおいて顕著な精度の向上を実現した。コードはGitHubリポジトリでリリースされている。

関連論文リスト

When Bio-Inspired Computing meets Deep Learning: Low-Latency, Accurate, & Energy-Efficient Spiking Neural Networks from Artificial Neural Networks [22.721987637571306]
Spiking Neural Networks (SNN) は畳み込みニューラルネットワーク (CNN) に匹敵する精度を示している ANN-to-SNN変換は、最近、複雑な画像認識タスクにおける最先端(SOTA)テスト精度に近いディープSNNの開発において、大きな注目を集めている。提案手法は,SOTA変換手法で必要となる時間ステップを指数的に減少させる新しいANN-to-SNN変換フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-12T00:10:45Z)
LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
論文参考訳（メタデータ） (2023-10-23T14:26:16Z)
Bridging the Gap between ANNs and SNNs by Calibrating Offset Spikes [19.85338979292052]
スパイキングニューラルネットワーク(SNN)は低消費電力と時間情報処理の特徴的な特徴から注目されている。 ANN-SNN変換は、SNNに適用するための最も一般的な訓練方法であり、変換されたSNNが大規模データセット上でANNに匹敵するパフォーマンスを達成することを確実にする。本稿では、異なる変換誤差を評価してこれらの誤りを除去する代わりに、実際のSNN発射速度と所望のSNN発射速度のずれ度を測定するためにオフセットスパイクを定義する。
論文参考訳（メタデータ） (2023-02-21T14:10:56Z)
Ultra-low Latency Adaptive Local Binary Spiking Neural Network with Accuracy Loss Estimator [4.554628904670269]
精度損失推定器を用いた超低レイテンシ適応型局所二元スパイクニューラルネットワーク(ALBSNN)を提案する。実験の結果,ネットワークの精度を損なうことなく,ストレージ容量を20%以上削減できることがわかった。
論文参考訳（メタデータ） (2022-07-31T09:03:57Z)
Optimized Potential Initialization for Low-latency Spiking Neural Networks [21.688402090967497]
スパイキングニューラルネットワーク (SNN) は低消費電力, 生物学的可視性, 敵の強靭性といった特徴により, 非常に重要視されている。ディープSNNをトレーニングする最も効果的な方法は、ディープネットワーク構造と大規模データセットで最高のパフォーマンスを実現したANN-to-SNN変換である。本稿では、非常に低レイテンシ(32段階未満)で高性能に変換されたSNNを実現することを目的とする。
論文参考訳（メタデータ） (2022-02-03T07:15:43Z)
Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
論文参考訳（メタデータ） (2021-12-12T17:13:14Z)
Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文参考訳（メタデータ） (2021-12-06T23:45:58Z)
Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文参考訳（メタデータ） (2021-09-29T07:46:54Z)
Optimal Conversion of Conventional Artificial Neural Networks to Spiking Neural Networks [0.0]
spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
論文参考訳（メタデータ） (2021-02-28T12:04:22Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。