論文の概要: HoSNN: Adversarially-Robust Homeostatic Spiking Neural Networks with
Adaptive Firing Thresholds
- arxiv url: http://arxiv.org/abs/2308.10373v2
- Date: Sun, 22 Oct 2023 19:48:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 07:51:09.077012
- Title: HoSNN: Adversarially-Robust Homeostatic Spiking Neural Networks with
Adaptive Firing Thresholds
- Title(参考訳): hosnn:適応的な発火閾値を持つ敵対的ロバストなホメオスタティックスパイクニューラルネットワーク
- Authors: Hejia Geng, Peng Li
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、効率的で強力なニューラルネットワークにインスパイアされた計算を約束する。
SNNは敵の攻撃に対する脆弱性の深刻な問題に直面している。
我々は,SNNの攻撃に対する感受性に対処するバイオインスパイアされたソリューションを開発した。
- 参考スコア(独自算出の注目度): 4.990033559491569
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) offer promise for efficient and powerful
neurally inspired computation. Common to other types of neural networks,
however, SNNs face the severe issue of vulnerability to adversarial attacks. We
present the first study that draws inspiration from neural homeostasis to
develop a bio-inspired solution that counters the susceptibilities of SNNs to
adversarial onslaughts. At the heart of our approach is a novel
threshold-adapting leaky integrate-and-fire (TA-LIF) neuron model, which we
adopt to construct the proposed adversarially robust homeostatic SNN (HoSNN).
Distinct from traditional LIF models, our TA-LIF model incorporates a
self-stabilizing dynamic thresholding mechanism, curtailing adversarial noise
propagation and safeguarding the robustness of HoSNNs in an unsupervised
manner. Theoretical analysis is presented to shed light on the stability and
convergence properties of the TA-LIF neurons, underscoring their superior
dynamic robustness under input distributional shifts over traditional LIF
neurons. Remarkably, without explicit adversarial training, our HoSNNs
demonstrate inherent robustness on CIFAR-10, with accuracy improvements to
72.6% and 54.19% against FGSM and PGD attacks, up from 20.97% and 0.6%,
respectively. Furthermore, with minimal FGSM adversarial training, our HoSNNs
surpass previous models by 29.99% under FGSM and 47.83% under PGD attacks on
CIFAR-10. Our findings offer a new perspective on harnessing biological
principles for bolstering SNNs adversarial robustness and defense, paving the
way to more resilient neuromorphic computing.
- Abstract(参考訳): スパイキングニューラルネットワーク(SNN)は、効率的で強力なニューラルネットワークにインスパイアされた計算を約束する。
しかし、他のタイプのニューラルネットワークに共通するSNNは、敵の攻撃に対する脆弱性の深刻な問題に直面している。
神経性ホメオスタシスからインスピレーションを得た最初の研究は、SNNの障害に対する感受性に対処するバイオインスパイアされたソリューションを開発することである。
我々のアプローチの核心は、新しいしきい値適応型インテリジェンス・アンド・ファイア(TA-LIF)ニューロンモデルであり、提案した対向的に堅牢なホメオスタティックSNN(HoSNN)を構築するために採用されている。
従来の LIF モデルとは違って,我々のTA-LIF モデルでは,自己安定化動的しきい値設定機構,対向雑音伝搬の削減,HoSNN の堅牢性を教師なしで保護する。
理論解析により、ta-lifニューロンの安定性と収束性が示され、従来のlifニューロンに対する入力分布シフト下での優れた動的ロバスト性が証明された。
また,CIFAR-10では,FGSMおよびPGD攻撃に対する精度が72.6%,54.19%向上し,それぞれ20.97%,0.6%向上した。
さらに、FGSMの対抗訓練が最小限で、我々のHoSNNはFGSMの29.99%、CIFAR-10のPGD攻撃47.83%を突破した。
我々の研究は、SNNの強靭性と防御を強化するための生物学的原理を活用する新しい視点を提供し、より弾力性のあるニューロモルフィックコンピューティングへの道を開いた。
関連論文リスト
- Fully Spiking Denoising Diffusion Implicit Models [61.32076130121347]
スパイキングニューラルネットワーク(SNN)は、超高速のニューロモルフィックデバイス上で走る能力のため、かなりの注目を集めている。
本研究では,SNN内で拡散モデルを構築するために,拡散暗黙モデル (FSDDIM) を完全にスパイクする新しい手法を提案する。
提案手法は,最先端の完全スパイク生成モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-12-04T09:07:09Z) - Adversarial Defense via Neural Oscillation inspired Gradient Masking [0.0]
スパイクニューラルネットワーク(SNN)は、低消費電力、低レイテンシ、生物学的妥当性のために大きな注目を集めている。
本稿では,SNNの安全性を高めるためにバイオインスパイアされた発振機構を組み込んだ新しいニューラルモデルを提案する。
論文 参考訳(メタデータ) (2022-11-04T02:13:19Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Toward Robust Spiking Neural Network Against Adversarial Perturbation [22.56553160359798]
スパイキングニューラルネットワーク(SNN)は、現実の効率クリティカルなアプリケーションにますます多くデプロイされている。
研究者はすでに、SNNを敵の例で攻撃できることを実証している。
我々の知る限りでは、これはSNNの堅牢なトレーニングに関する最初の分析である。
論文 参考訳(メタデータ) (2022-04-12T21:26:49Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - Advancing Residual Learning towards Powerful Deep Spiking Neural
Networks [16.559670769601038]
残留学習とショートカットは、ディープニューラルネットワークをトレーニングするための重要なアプローチとして証明されている。
MS-ResNetは、直接訓練されたSNNの深さを大幅に拡張することができる。
MS-ResNet 104はImageNetで76.02%の精度を達成した。
論文 参考訳(メタデータ) (2021-12-15T05:47:21Z) - Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。
我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。
逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
論文 参考訳(メタデータ) (2021-11-16T16:14:44Z) - HIRE-SNN: Harnessing the Inherent Robustness of Energy-Efficient Deep
Spiking Neural Networks by Training with Crafted Input Noise [13.904091056365765]
SNNトレーニングアルゴリズムは,入力ノイズを発生させるとともに,追加のトレーニング時間も発生しない。
通常の訓練された直接入力SNNと比較して、トレーニングされたモデルでは、最大13.7%の分類精度が向上した。
また,本モデルでは,レートコード入力を学習したSNNに対して,攻撃生成画像の分類性能が向上あるいは類似していることが特筆すべき点である。
論文 参考訳(メタデータ) (2021-10-06T16:48:48Z) - Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。
本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。
最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
論文 参考訳(メタデータ) (2021-08-16T03:58:00Z) - Batch Normalization Increases Adversarial Vulnerability and Decreases
Adversarial Transferability: A Non-Robust Feature Perspective [91.5105021619887]
バッチ正規化(BN)は、現代のディープニューラルネットワーク(DNN)で広く使われている。
BNは、対向ロバスト性を犠牲にしてモデル精度を高めることが観察された。
BNが主にロバスト特徴(RF)と非ロバスト特徴(NRF)の学習を好んでいるかどうかは不明である。
論文 参考訳(メタデータ) (2020-10-07T10:24:33Z) - Inherent Adversarial Robustness of Deep Spiking Neural Networks: Effects
of Discrete Input Encoding and Non-Linear Activations [9.092733355328251]
スパイキングニューラルネットワーク(SNN)は、敵対的攻撃に対する固有の堅牢性の候補である。
本研究では、勾配に基づく攻撃によるSNNの対向精度が、非スパイク攻撃よりも高いことを示す。
論文 参考訳(メタデータ) (2020-03-23T17:20:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。