論文の概要: Rethinking the role of normalization and residual blocks for spiking neural networks

• arxiv url: http://arxiv.org/abs/2203.01544v1
• Date: Thu, 3 Mar 2022 07:13:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-05 06:35:25.340883
• Title: Rethinking the role of normalization and residual blocks for spiking neural networks
• Title（参考訳）: スパイクニューラルネットワークにおける正規化と残留ブロックの役割再考
• Authors: Shin-ichi Ikegawa, Ryuji Saiin, Yoshihide Sawada, Naotake Natori
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、超低消費電力エネルギー消費を実現するために広く利用されている。 深部SNNは、隠れた層にスパイクニューロンが過剰に発射されるため、訓練が簡単ではない。 本稿では,後シナプス電位正規化という,新しい単純な正規化手法を提案する。
• 参考スコア（独自算出の注目度）: 1.0386786451091783
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Biologically inspired spiking neural networks (SNNs) are widely used to realize ultralow-power energy consumption. However, deep SNNs are not easy to train due to the excessive firing of spiking neurons in the hidden layers. To tackle this problem, we propose a novel but simple normalization technique called postsynaptic potential normalization. This normalization removes the subtraction term from the standard normalization and uses the second raw moment instead of the variance as the division term. The spike firing can be controlled, enabling the training to proceed appropriating, by conducting this simple normalization to the postsynaptic potential. The experimental results show that SNNs with our normalization outperformed other models using other normalizations. Furthermore, through the pre-activation residual blocks, the proposed model can train with more than 100 layers without other special techniques dedicated to SNNs.
• Abstract（参考訳）: 生物学的にインスパイアされたスパイクニューラルネットワーク(SNN)は、超低消費電力エネルギー消費を実現するために広く利用されている。 しかし、深いSNNは、隠れた層にスパイクニューロンが過剰に発射されるため、訓練が容易ではない。 この問題に対処するために,後シナプス電位正規化という,新しい単純な正規化手法を提案する。 この正規化は標準正規化から減算項を取り除き、分散の代わりに第2の生モーメントを除算項として用いる。 この単純な正規化を後シナプス電位に行うことにより、スパイク発射を制御でき、訓練を順応することができる。 実験の結果,SNNの正規化は,他の正規化モデルよりも優れていた。 さらに, 予備活性化残差ブロックを通し, 提案モデルは100層以上でsns専用の特別な手法を使わずにトレーニングできる。

関連論文リスト

• Unsupervised Adaptive Normalization [0.07499722271664146]
  Unsupervised Adaptive Normalization (UAN)は、クラスタリングとディープニューラルネットワーク学習をシームレスに統合する革新的なアルゴリズムである。 UANは、対象タスクに適応することで古典的手法よりも優れており、分類やドメイン適応に有効である。
  論文  参考訳（メタデータ） (2024-09-07T08:14:11Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Training Thinner and Deeper Neural Networks: Jumpstart Regularization [2.8348950186890467]
  我々は、神経細胞が死滅したり線状になるのを防ぐために正規化を使用します。 従来のトレーニングと比較して、より薄く、より深く、そして(最も重要な)よりパラメータ効率の高いニューラルネットワークが得られます。
  論文  参考訳（メタデータ） (2022-01-30T12:11:24Z)
• Improving Surrogate Gradient Learning in Spiking Neural Networks via Regularization and Normalization [0.0]
  スパイキングニューラルネットワーク(SNN)は、ディープラーニングで使用される古典的ネットワークとは異なる。 SNNは低消費電力のニューロモルフィックチップに実装できるため、AI技術にアピールしている。
  論文  参考訳（メタデータ） (2021-12-13T15:24:33Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Correct Normalization Matters: Understanding the Effect of Normalization On Deep Neural Network Models For Click-Through Rate Prediction [3.201333208812837]
  本研究では,LayerNormをベースとした新しい効果的な正規化手法を提案する。 正規化の分散が主な役割を担い、本研究に説明を与える。
  論文  参考訳（メタデータ） (2020-06-23T04:35:22Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。