論文の概要: Improving Stability and Performance of Spiking Neural Networks through Enhancing Temporal Consistency

• arxiv url: http://arxiv.org/abs/2305.14174v1
• Date: Tue, 23 May 2023 15:50:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 15:15:08.753757
• Title: Improving Stability and Performance of Spiking Neural Networks through Enhancing Temporal Consistency
• Title（参考訳）: 時間整合性向上によるスパイクニューラルネットワークの安定性と性能向上
• Authors: Dongcheng Zhao, Guobin Shen, Yiting Dong, Yang Li, Yi Zeng
• Abstract要約: スパイクニューラルネットワークは、脳のような情報処理能力のために大きな注目を集めている。 現在のトレーニングアルゴリズムは、様々なタイミングで出力分布の違いを無視する傾向にある。 我々は,異なるタイミングで出力の時間的一貫性を高める手法を考案した。
• 参考スコア（独自算出の注目度）: 9.545711665562715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neural networks have gained significant attention due to their brain-like information processing capabilities. The use of surrogate gradients has made it possible to train spiking neural networks with backpropagation, leading to impressive performance in various tasks. However, spiking neural networks trained with backpropagation typically approximate actual labels using the average output, often necessitating a larger simulation timestep to enhance the network's performance. This delay constraint poses a challenge to the further advancement of SNNs. Current training algorithms tend to overlook the differences in output distribution at various timesteps. Particularly for neuromorphic datasets, inputs at different timesteps can cause inconsistencies in output distribution, leading to a significant deviation from the optimal direction when combining optimization directions from different moments. To tackle this issue, we have designed a method to enhance the temporal consistency of outputs at different timesteps. We have conducted experiments on static datasets such as CIFAR10, CIFAR100, and ImageNet. The results demonstrate that our algorithm can achieve comparable performance to other optimal SNN algorithms. Notably, our algorithm has achieved state-of-the-art performance on neuromorphic datasets DVS-CIFAR10 and N-Caltech101, and can achieve superior performance in the test phase with timestep T=1.
• Abstract（参考訳）: スパイクニューラルネットワークは、脳のような情報処理能力のために大きな注目を集めている。 代理勾配の使用により、バックプロパゲーションによるスパイクニューラルネットワークのトレーニングが可能となり、様々なタスクで顕著なパフォーマンスを実現した。 しかしながら、バックプロパゲーションでトレーニングされたスパイクニューラルネットワークは通常、平均出力を使用して実際のラベルを近似し、ネットワークのパフォーマンスを高めるためにより大きなシミュレーションタイムステップを必要とする。 この遅延制約は、SNNのさらなる進歩に挑戦する。 現在のトレーニングアルゴリズムは、様々なタイミングで出力分布の違いを無視する傾向にある。 特にニューロモルフィックデータセットでは、異なる時間ステップでの入力は出力分布の不整合を引き起こし、異なるモーメントからの最適化方向を組み合わせる際に最適な方向から著しくずれる。 この問題に対処するため,我々は異なる時間ステップで出力の時間的一貫性を高める手法を考案した。 CIFAR10, CIFAR100, ImageNetなどの静的データセットの実験を行った。 その結果,本アルゴリズムは他のSNNアルゴリズムに匹敵する性能が得られた。 特に,本アルゴリズムはニューロモルフィックデータセットDVS-CIFAR10とN-Caltech101の最先端性能を達成し,タイムステップT=1の試験段階において優れた性能が得られる。

関連論文リスト

• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• Direct Training Needs Regularisation: Anytime Optimal Inference Spiking Neural Network [23.434563009813218]
  スパイキングニューラルネットワーク(SNN)は,次世代のニューラルネットワーク(ANN)として認識される 空間時間正規化(STR)と呼ばれる新しい正規化手法を導入する。 STRは各段階におけるスパイクの強さと膜電位の比を調節する。 これは、トレーニング中の空間的および時間的パフォーマンスを効果的にバランスさせ、最終的にはAnytime Optimal Inference (AOI) SNNとなる。
  論文  参考訳（メタデータ） (2024-04-15T15:57:01Z)
• Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
  スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。 深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
  論文  参考訳（メタデータ） (2023-06-22T04:25:27Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Backpropagation with Biologically Plausible Spatio-Temporal Adjustment For Training Deep Spiking Neural Networks [5.484391472233163]
  ディープラーニングの成功は、バックプロパゲーションとは分離できない。 本研究では, 膜電位とスパイクの関係を再考する, 生体可塑性空間調整法を提案する。 次に,生物学的に妥当な時間的調整を提案し,時間的次元のスパイクを横切る誤差を伝搬させる。
  論文  参考訳（メタデータ） (2021-10-17T15:55:51Z)
• Spiking Neural Networks with Improved Inherent Recurrence Dynamics for Sequential Learning [6.417011237981518]
  漏れた統合と発火(LIF)ニューロンを持つニューラルネットワーク(SNN)は、イベント駆動方式で操作できる。 我々は,SNNを逐次的なタスクのために訓練し,LIFニューロンのネットワークへの修正を提案する。 そこで我々は,提案するSNNのトレーニング手法を開発し,本質的な再帰ダイナミクスを改良した。
  論文  参考訳（メタデータ） (2021-09-04T17:13:28Z)
• Revisiting Batch Normalization for Training Low-latency Deep Spiking Neural Networks from Scratch [5.511606249429581]
  ディープラーニングの代替手段としてスパイキングニューラルネットワーク(SNN)が登場している。 スクラッチからの高精度で低遅延のSNNは、スパイキングニューロンの非分化性の性質に悩まされる。 本稿では、時間的SNNのトレーニングのための時間的バッチ正規化(BNTT)手法を提案する。
  論文  参考訳（メタデータ） (2020-10-05T00:49:30Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。