Fugu-MT 論文翻訳(概要): Reducing Information Loss for Spiking Neural Networks

論文の概要: Reducing Information Loss for Spiking Neural Networks

arxiv url: http://arxiv.org/abs/2307.04356v1
Date: Mon, 10 Jul 2023 05:49:20 GMT
ステータス: 処理完了
システム内更新日: 2023-07-11 14:01:06.059787
Title: Reducing Information Loss for Spiking Neural Networks
Title（参考訳）: スパイクニューラルネットワークにおける情報損失の低減
Authors: Yufei Guo, Yuanpei Chen, Liwen Zhang, Xiaode Liu, Xinyi Tong, Yuanyuan Ou, Xuhui Huang, Zhe Ma
Abstract要約: スパイキングニューラルネットワーク(SNN)はバイナリスパイク信号を用いて情報を伝達する。教師付きトレーニングベースSNNに「ソフトリセット」機構を適用することを提案する。 We show that the SNNs with the Soft Reset" mechanism and MPR are outperform their vanilla equivalents on both static and dynamic datasets。
参考スコア（独自算出の注目度）: 11.580346172925323
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The Spiking Neural Network (SNN) has attracted more and more attention recently. It adopts binary spike signals to transmit information. Benefitting from the information passing paradigm of SNNs, the multiplications of activations and weights can be replaced by additions, which are more energy-efficient. However, its ``Hard Reset" mechanism for the firing activity would ignore the difference among membrane potentials when the membrane potential is above the firing threshold, causing information loss. Meanwhile, quantifying the membrane potential to 0/1 spikes at the firing instants will inevitably introduce the quantization error thus bringing about information loss too. To address these problems, we propose to use the ``Soft Reset" mechanism for the supervised training-based SNNs, which will drive the membrane potential to a dynamic reset potential according to its magnitude, and Membrane Potential Rectifier (MPR) to reduce the quantization error via redistributing the membrane potential to a range close to the spikes. Results show that the SNNs with the ``Soft Reset" mechanism and MPR outperform their vanilla counterparts on both static and dynamic datasets.
Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は最近ますます注目を集めている。情報伝達には二元スパイク信号を用いる。 SNNの情報伝達パラダイムにより、活性化と重みの乗算は、エネルギー効率のよい加算に置き換えられる。 However, its ``Hard Reset" mechanism for the firing activity would ignore the difference among membrane potentials when the membrane potential is above the firing threshold, causing information loss. Meanwhile, quantifying the membrane potential to 0/1 spikes at the firing instants will inevitably introduce the quantization error thus bringing about information loss too. To address these problems, we propose to use the ``Soft Reset" mechanism for the supervised training-based SNNs, which will drive the membrane potential to a dynamic reset potential according to its magnitude, and Membrane Potential Rectifier (MPR) to reduce the quantization error via redistributing the membrane potential to a range close to the spikes. その結果, `‘Soft Reset’ 機構と MPR を備えた SNN は,静的データセットと動的データセットの両方でバニラよりも優れていた。

関連論文リスト

TBSN: Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising [94.09442506816724]
BSN(Blind-spot Network)は、自己教師型イメージデノベーション(SSID)において一般的なネットワークアーキテクチャである。本稿では, ブラインドスポット要求を満たす変圧器演算子の解析と再設計により, 変圧器ベースブラインドスポットネットワーク(TBSN)を提案する。空間的自己注意のために、注意行列に精巧なマスクを適用して受容場を制限し、拡張された畳み込みを模倣する。チャネル自己アテンションについては,マルチスケールアーキテクチャの深層部において,チャネル数が空間的サイズよりも大きい場合,盲点情報を漏洩する可能性がある。
論文参考訳（メタデータ） (2024-04-11T15:39:10Z)
Ternary Spike: Learning Ternary Spikes for Spiking Neural Networks [19.304952813634994]
Spiking Neural Network(SNN)は、生物学的にインスパイアされたニューラルネットワーク基盤である。本稿では,情報伝達のための3次スパイクニューロンを提案する。 3次スパイクは、常に最先端の手法より優れていることを示す。
論文参考訳（メタデータ） (2023-12-11T13:28:54Z)
RMP-Loss: Regularizing Membrane Potential Distribution for Spiking Neural Networks [26.003193122060697]
生物学に触発されたモデルの1つとしてスパイキングニューラルネットワーク(SNN)が最近注目を集めている。本稿では,正則化膜電位損失(RMP-Loss)を提案し,量子化誤差に直接関係する分布をスパイクに近い範囲に調整する。
論文参考訳（メタデータ） (2023-08-13T14:59:27Z)
NeuralFuse: Learning to Recover the Accuracy of Access-Limited Neural Network Inference in Low-Voltage Regimes [52.51014498593644]
ディープラーニング(Deep Neural Network, DNN)は、機械学習においてユビキタスになったが、そのエネルギー消費は依然として注目すべき問題である。我々は、低電圧状態における精度とエネルギーのトレードオフに対処する新しいアドオンモジュールであるNeuralFuseを紹介する。 1%のビットエラー率で、NeuralFuseはメモリアクセスエネルギーを最大24%削減し、精度を最大57%向上させることができる。
論文参考訳（メタデータ） (2023-06-29T11:38:22Z)
MSAT: Biologically Inspired Multi-Stage Adaptive Threshold for Conversion of Spiking Neural Networks [11.392893261073594]
スパイキングニューラルネットワーク(SNN)はそのスパイク間隔のために低消費電力で推測できる。 ANN-SNN変換は、よく訓練されたニューラルネットワーク(ANN)を変換することでディープSNNを実現する効率的な方法である既存の方法は、ニューロンがより深い層にスパイクを素早く届けるのを防ぐ変換に一定の閾値を使用するのが一般的である。
論文参考訳（メタデータ） (2023-03-23T07:18:08Z)
SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文参考訳（メタデータ） (2023-02-01T04:22:59Z)
Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks [19.490903216456758]
スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
論文参考訳（メタデータ） (2022-10-12T16:39:46Z)
Event-based Video Reconstruction via Potential-assisted Spiking Neural Network [48.88510552931186]
バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
論文参考訳（メタデータ） (2022-01-25T02:05:20Z)
Backpropagated Neighborhood Aggregation for Accurate Training of Spiking Neural Networks [14.630838296680025]
そこで我々は,重み更新を導く誤差勾配を高精度に計算するBP型手法である,近傍集約(NA)を提案する。 NAはこの目的を達成するために、各ニューロンの現在の膜電位の近傍にある摂動膜電位波形による損失の有限差を集約する。実験の結果,提案したNAアルゴリズムは,複数のデータセットを対象としたSNNトレーニングの最先端性能を提供することがわかった。
論文参考訳（メタデータ） (2021-06-22T16:42:48Z)
Do All MobileNets Quantize Poorly? Gaining Insights into the Effect of Quantization on Depthwise Separable Convolutional Networks Through the Eyes of Multi-scale Distributional Dynamics [93.4221402881609]
MobileNetsは、モバイル用のディープ畳み込みニューラルネットワーク(CNN)のファミリーである。訓練後の量子化では、精度が著しく低下することが多い。より小さなDWSCNNと通常のCNNの集合であるMobileNet-V1のマルチスケール分布ダイナミクスについて検討する。
論文参考訳（メタデータ） (2021-04-24T01:28:29Z)
Adversarial Attacks on Deep Learning Based Power Allocation in a Massive MIMO Network [62.77129284830945]
本稿では,大規模なマルチインプット・マルチアウトプット(MAMIMO)ネットワークのダウンリンクにおいて,逆攻撃がDLベースの電力割り当てを損なう可能性があることを示す。我々はこれらの攻撃のパフォーマンスをベンチマークし、ニューラルネットワーク(NN)の入力に小さな摂動がある場合、ホワイトボックス攻撃は最大86%まで実現不可能な解決策をもたらすことを示した。
論文参考訳（メタデータ） (2021-01-28T16:18:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。