論文の概要: Membrane Potential Batch Normalization for Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2308.08359v1
• Date: Wed, 16 Aug 2023 13:32:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-17 13:23:54.602464
• Title: Membrane Potential Batch Normalization for Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークのための膜電位バッチ正規化
• Authors: Yufei Guo, Yuhan Zhang, Yuanpei Chen, Weihang Peng, Xiaode Liu, Liwen Zhang, Xuhui Huang, Zhe Ma
• Abstract要約: スパイクニューラルネットワーク(SNN)は最近ますます関心を集めています。 深層モデルの訓練には,SNNで有効なバッチ正規化(BN)手法が提案されている。 我々は,MPBNと呼ばれる膜電位を再び正規化するために,発射関数の前に別のBN層を提案する。
• 参考スコア（独自算出の注目度）: 26.003193122060697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As one of the energy-efficient alternatives of conventional neural networks (CNNs), spiking neural networks (SNNs) have gained more and more interest recently. To train the deep models, some effective batch normalization (BN) techniques are proposed in SNNs. All these BNs are suggested to be used after the convolution layer as usually doing in CNNs. However, the spiking neuron is much more complex with the spatio-temporal dynamics. The regulated data flow after the BN layer will be disturbed again by the membrane potential updating operation before the firing function, i.e., the nonlinear activation. Therefore, we advocate adding another BN layer before the firing function to normalize the membrane potential again, called MPBN. To eliminate the induced time cost of MPBN, we also propose a training-inference-decoupled re-parameterization technique to fold the trained MPBN into the firing threshold. With the re-parameterization technique, the MPBN will not introduce any extra time burden in the inference. Furthermore, the MPBN can also adopt the element-wised form, while these BNs after the convolution layer can only use the channel-wised form. Experimental results show that the proposed MPBN performs well on both popular non-spiking static and neuromorphic datasets. Our code is open-sourced at \href{https://github.com/yfguo91/MPBN}{MPBN}.
• Abstract（参考訳）: 従来のニューラルネットワーク(CNN)のエネルギー効率の良い代替手段の1つとして、スパイクニューラルネットワーク(SNN)が近年ますます注目を集めている。 深層モデルの訓練には,SNNで有効なバッチ正規化(BN)手法が提案されている。 これらのBNは、通常CNNで行うように、畳み込み層の後に使われることが示唆されている。 しかし、スパイキングニューロンは時空間ダイナミクスとより複雑である。 BN層後における規制されたデータフローは、発射機能前の膜電位更新操作、すなわち非線形活性化によって再び妨害される。 そこで我々は, 膜電位を再び正規化するために, 燃焼関数の前に別のbn層を加えることを推奨する。 また,MPBNの誘導時間コストを削減するため,訓練されたMPBNを発射しきい値に折り畳むトレーニング推論型再パラメータ化手法を提案する。 再パラメータ化手法では、MPBNは推論に余分な時間的負担を伴わない。 さらに、MPBNは要素ワイド形式を採用することもできるが、畳み込み層後のこれらのBNはチャネルワイド形式のみを使用することができる。 実験結果から,MPBNは非スパイキングの静的データセットとニューロモルフィックデータセットの両方で良好に動作することがわかった。 私たちのコードは、 \href{https://github.com/yfguo91/MPBN}{MPBN} でオープンソース化されています。

関連論文リスト

• Which Frequencies do CNNs Need? Emergent Bottleneck Structure in Feature Learning [12.351756386062291]
  本稿では,CNNにおけるConvolution Bottleneckの構造の出現について述べる。 ボトルネック内に保持される周波数の数と種類を記述したCBNランクを定義した。 パラメータノルムがほぼ最適である任意のネットワークは、両方の重みでCBN構造を示す。
  論文  参考訳（メタデータ） (2024-02-12T19:18:50Z)
• An Adaptive Batch Normalization in Deep Learning [0.0]
  バッチ正規化(BN)は、深層畳み込みニューラルネットワークのトレーニングを加速し、安定させる方法である。 本稿では、BNを必要とするデータとそれを必要としないデータを分離する、しきい値に基づく適応的なBNアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-03T12:12:56Z)
• Using the Projected Belief Network at High Dimensions [13.554038901140949]
  射影信頼ネットワーク (PBN) は層状生成ネットワーク (LGN) である。 音響事象の高次元スペクトログラムの分類と自動符号化に識別整列PBNを適用した。
  論文  参考訳（メタデータ） (2022-04-25T19:54:52Z)
• Event-based Video Reconstruction via Potential-assisted Spiking Neural Network [48.88510552931186]
  バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。 完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。 スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
  論文  参考訳（メタデータ） (2022-01-25T02:05:20Z)
• Batch Normalization Preconditioning for Neural Network Training [7.709342743709842]
  バッチ正規化(BN)は、ディープラーニングにおいて一般的でユビキタスな手法である。 BNは、非常に小さなミニバッチサイズやオンライン学習での使用には適していない。 BNP(Batch Normalization Preconditioning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-02T18:17:26Z)
• "BNN - BN = ?": Training Binary Neural Networks without Batch Normalization [92.23297927690149]
  バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
  論文  参考訳（メタデータ） (2021-04-16T16:46:57Z)
• Batch Normalization with Enhanced Linear Transformation [73.9885755599221]
  線形変換モジュールを適切に拡張することで、バッチ正規化(BN)の能力を効果的に改善できる 私たちのメソッドはBNETと呼ばれ、ほとんどのディープラーニングライブラリで2～3行のコードで実装できます。 我々は、BNETがネットワークトレーニングの収束を加速し、より大きな重み付けで重要なニューロンを割り当てることで空間情報を強化することを検証する。
  論文  参考訳（メタデータ） (2020-11-28T15:42:36Z)
• MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization [60.36100335878855]
  ネットワークトレーニングにおける収束と効率を改善するために,MimicNormという新しい正規化手法を提案する。 我々は、神経核(NTK)理論を利用して、我々の重み付けが活性化を弱め、BN層のようなカオス状態にネットワークを移行することを証明する。 MimicNormは、ResNetsやShuffleNetのような軽量ネットワークなど、さまざまなネットワーク構造に対して同様の精度を実現し、約20%のメモリ消費を削減している。
  論文  参考訳（メタデータ） (2020-10-19T07:42:41Z)
• PowerNorm: Rethinking Batch Normalization in Transformers [96.14956636022957]
  自然言語処理(NLP)におけるニューラルネットワーク(NN)モデルの正規化法は層正規化(LN)である LN は BN (naive/vanilla) の使用が NLP タスクの大幅な性能低下をもたらすという経験的観察により好まれる。 本稿では,この問題を解決する新しい正規化手法である電力正規化(PN)を提案する。
  論文  参考訳（メタデータ） (2020-03-17T17:50:26Z)
• How Does BN Increase Collapsed Neural Network Filters? [34.886702335022015]
  フィルタ崩壊は、バッチ正規化(BN)と修正線形活性化関数(ReLU、Leaky ReLUなど)を持つディープニューラルネットワーク(DNN)でよく見られる。 本稿では, BN と同一の表現能力を持つポストシフト後の BN (psBN) を, トレーニング中に飽和した BN パラメータを再度トレーニングできる簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2020-01-30T09:00:08Z)
• Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization [126.6252371899064]
  移動平均バッチ正規化(MABN)は,新しい正規化法である。 小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。 実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
  論文  参考訳（メタデータ） (2020-01-19T14:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。