論文の概要: RMP-Loss: Regularizing Membrane Potential Distribution for Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2308.06787v1
• Date: Sun, 13 Aug 2023 14:59:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 15:14:28.671326
• Title: RMP-Loss: Regularizing Membrane Potential Distribution for Spiking Neural Networks
• Title（参考訳）: rmp-loss:スパイクニューラルネットワークの膜電位分布の規則化
• Authors: Yufei Guo, Xiaode Liu, Yuanpei Chen, Liwen Zhang, Weihang Peng, Yuhan Zhang, Xuhui Huang, Zhe Ma
• Abstract要約: 生物学に触発されたモデルの1つとしてスパイキングニューラルネットワーク(SNN)が最近注目を集めている。 本稿では,正則化膜電位損失(RMP-Loss)を提案し,量子化誤差に直接関係する分布をスパイクに近い範囲に調整する。
• 参考スコア（独自算出の注目度）: 26.003193122060697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Neural Networks (SNNs) as one of the biology-inspired models have received much attention recently. It can significantly reduce energy consumption since they quantize the real-valued membrane potentials to 0/1 spikes to transmit information thus the multiplications of activations and weights can be replaced by additions when implemented on hardware. However, this quantization mechanism will inevitably introduce quantization error, thus causing catastrophic information loss. To address the quantization error problem, we propose a regularizing membrane potential loss (RMP-Loss) to adjust the distribution which is directly related to quantization error to a range close to the spikes. Our method is extremely simple to implement and straightforward to train an SNN. Furthermore, it is shown to consistently outperform previous state-of-the-art methods over different network architectures and datasets.
• Abstract（参考訳）: 生物学に触発されたモデルの1つとしてスパイキングニューラルネットワーク(SNN)が最近注目を集めている。 実際の膜電位を0/1スパイクに量子化して情報を伝達することにより、ハードウェア上に実装した場合、アクティベーションと重みの乗算を加算に置き換えることができるため、エネルギー消費を大幅に削減することができる。 しかし、この量子化機構は必然的に量子化誤差を導入し、破滅的な情報損失を引き起こす。 量子化誤差問題に対処するために, 量子化誤差に直接関係する分布をスパイクに近い範囲に調整するために, 膜電位損失の正則化(RMP-Loss)を提案する。 我々の手法は実装が非常に簡単で、SNNの訓練も簡単です。 さらに、異なるネットワークアーキテクチャやデータセット上で、従来の最先端メソッドを一貫して上回ることが示されている。

関連論文リスト

• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• SPFQ: A Stochastic Algorithm and Its Error Analysis for Neural Network Quantization [5.982922468400901]
  ニューラルネットワークの重みの順に得られる誤差境界を達成可能であることを示す。 我々は、無限アルファベットと入力データに対する最小の仮定の下で、完全なネットワーク境界を達成できることを証明した。
  論文  参考訳（メタデータ） (2023-09-20T00:35:16Z)
• InfLoR-SNN: Reducing Information Loss for Spiking Neural Networks [26.670449517287594]
  スパイキングニューラルネットワーク(SNN)はバイナリスパイク信号を用いて情報を伝達する。 本稿では,教師付きトレーニングベースSNNの「ソフトリセット」機構を提案する。 We show that the SNNs with the "Soft Reset" mechanism and MPR are outperform their vanilla equivalents on both static and dynamic datasets。
  論文  参考訳（メタデータ） (2023-07-10T05:49:20Z)
• CoNLoCNN: Exploiting Correlation and Non-Uniform Quantization for Energy-Efficient Low-precision Deep Convolutional Neural Networks [13.520972975766313]
  本研究では、重みの非一様量子化を利用して、エネルギー効率の低い深部畳み込みニューラルネットワーク推論を可能にする枠組みを提案する。 また、重みのビット幅を圧縮する新しいデータ表現形式Encoded Low-Precision Binary Signed Digitを提案する。
  論文  参考訳（メタデータ） (2022-07-31T01:34:56Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
  学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。 単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
  論文  参考訳（メタデータ） (2022-01-26T18:47:38Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• Do All MobileNets Quantize Poorly? Gaining Insights into the Effect of Quantization on Depthwise Separable Convolutional Networks Through the Eyes of Multi-scale Distributional Dynamics [93.4221402881609]
  MobileNetsは、モバイル用のディープ畳み込みニューラルネットワーク(CNN)のファミリーである。 訓練後の量子化では、精度が著しく低下することが多い。 より小さなDWSCNNと通常のCNNの集合であるMobileNet-V1のマルチスケール分布ダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2021-04-24T01:28:29Z)
• An Introduction to Robust Graph Convolutional Networks [71.68610791161355]
  本論文では, 誤りのある単一ビューあるいは複数ビューのデータに対して, 新たなロバストグラフ畳み込みニューラルネットワークを提案する。 従来のグラフ畳み込みネットワークにAutoencodersを介して余分なレイヤを組み込むことで、典型的なエラーモデルを明示的に特徴付けおよび処理します。
  論文  参考訳（メタデータ） (2021-03-27T04:47:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。