論文の概要: Enhancing Adversarial Robustness in SNNs with Sparse Gradients

• arxiv url: http://arxiv.org/abs/2405.20355v1
• Date: Thu, 30 May 2024 05:39:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 18:44:15.889840
• Title: Enhancing Adversarial Robustness in SNNs with Sparse Gradients
• Title（参考訳）: スパース勾配を持つSNNにおける対向ロバスト性向上
• Authors: Yujia Liu, Tong Bu, Jianhao Ding, Zecheng Hao, Tiejun Huang, Zhaofei Yu,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率の高い操作と生物学的にインスパイアされた構造に対して大きな注目を集めている。 既存の技術は、ANNから適応したものであれ、SNNのために特別に設計されたものであれ、SNNの訓練や強力な攻撃に対する防御に制限がある。 本稿では,SNNの頑健性を高めるための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 46.15229142258264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) have attracted great attention for their energy-efficient operations and biologically inspired structures, offering potential advantages over Artificial Neural Networks (ANNs) in terms of energy efficiency and interpretability. Nonetheless, similar to ANNs, the robustness of SNNs remains a challenge, especially when facing adversarial attacks. Existing techniques, whether adapted from ANNs or specifically designed for SNNs, exhibit limitations in training SNNs or defending against strong attacks. In this paper, we propose a novel approach to enhance the robustness of SNNs through gradient sparsity regularization. We observe that SNNs exhibit greater resilience to random perturbations compared to adversarial perturbations, even at larger scales. Motivated by this, we aim to narrow the gap between SNNs under adversarial and random perturbations, thereby improving their overall robustness. To achieve this, we theoretically prove that this performance gap is upper bounded by the gradient sparsity of the probability associated with the true label concerning the input image, laying the groundwork for a practical strategy to train robust SNNs by regularizing the gradient sparsity. We validate the effectiveness of our approach through extensive experiments on both image-based and event-based datasets. The results demonstrate notable improvements in the robustness of SNNs. Our work highlights the importance of gradient sparsity in SNNs and its role in enhancing robustness.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率と生物学的にインスパイアされた構造に対して大きな注目を集めており、エネルギー効率と解釈可能性の観点から、人工知能ニューラルネットワーク(ANN)よりも潜在的に有利である。 それでも、ANNと同様、SNNの堅牢性は、特に敵の攻撃に直面している場合、依然として課題である。 既存の技術は、ANNから適応したものであれ、SNNのために特別に設計されたものであれ、SNNの訓練や強力な攻撃に対する防御に制限がある。 本稿では,SNNの頑健性を高めるための新しい手法を提案する。 SNNは, 大規模であっても, 逆方向の摂動に比べて, ランダムな摂動に対して強い抵抗性を示す。 本研究の目的は, 対向的およびランダムな摂動下でのSNN間のギャップを狭めることであり, 全体としての堅牢性を向上させることである。 これを実現するために、この性能ギャップは、入力画像に関する真のラベルに関連する確率の勾配間隔によって上界にあることを理論的に証明し、勾配間隔を正規化して堅牢なSNNを訓練する実践的戦略の基礎となる。 我々は、画像ベースとイベントベースの両方のデータセットに対する広範な実験を通じて、アプローチの有効性を検証する。 その結果,SNNの堅牢性は顕著に向上した。 我々の研究は、SNNにおける勾配間隔の重要性と、堅牢性向上におけるその役割を強調している。

関連論文リスト

• RSC-SNN: Exploring the Trade-off Between Adversarial Robustness and Accuracy in Spiking Neural Networks via Randomized Smoothing Coding [17.342181435229573]
  スパイキングニューラルネットワーク(SNN)は、そのユニークな神経力学と低出力の性質により、広く注目を集めている。 以前の研究では、Poissonコーディングを持つSNNは、小規模データセット上のArtificial Neural Networks(ANN)よりも堅牢であることが実証されている。 この研究は理論上、SNNの固有の対向ロバスト性はポアソン符号に由来することを証明している。
  論文  参考訳（メタデータ） (2024-07-29T15:26:15Z)
• Adversarially Robust Spiking Neural Networks Through Conversion [16.2319630026996]
  スパイキングニューラルネットワーク(SNN)は、さまざまな人工知能ニューラルネットワーク(ANN)ベースのAIアプリケーションに対して、エネルギー効率のよい代替手段を提供する。 SNNによるニューロモルフィックコンピューティングの進歩がアプリケーションでの利用を拡大するにつれ、SNNの対角的堅牢性の問題はより顕著になる。
  論文  参考訳（メタデータ） (2023-11-15T08:33:46Z)
• Inherent Redundancy in Spiking Neural Networks [24.114844269113746]
  スパイキングネットワーク(SNN)は、従来の人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段である。 本研究では,SNNにおける固有冗長性に関する3つの重要な疑問に焦点をあてる。 本稿では,SNNの冗長性を活用するためのアドバンストアテンション(ASA)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-16T08:58:25Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• Examining the Robustness of Spiking Neural Networks on Non-ideal Memristive Crossbars [4.184276171116354]
  ニューラルネットワークの低消費電力代替としてスパイキングニューラルネットワーク(SNN)が登場している。 本研究では,SNNの性能に及ぼすクロスバー非理想性と本質性の影響について検討した。
  論文  参考訳（メタデータ） (2022-06-20T07:07:41Z)
• Trustworthy Graph Neural Networks: Aspects, Methods and Trends [115.84291569988748]
  グラフニューラルネットワーク(GNN)は,さまざまな実世界のシナリオに対して,有能なグラフ学習手法として登場した。 パフォーマンス指向のGNNは、敵の攻撃に対する脆弱性のような潜在的な副作用を示す。 こうした意図しない害を避けるためには、信頼度に特徴付けられる有能なGNNを構築する必要がある。
  論文  参考訳（メタデータ） (2022-05-16T02:21:09Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Toward Robust Spiking Neural Network Against Adversarial Perturbation [22.56553160359798]
  スパイキングニューラルネットワーク(SNN)は、現実の効率クリティカルなアプリケーションにますます多くデプロイされている。 研究者はすでに、SNNを敵の例で攻撃できることを実証している。 我々の知る限りでは、これはSNNの堅牢なトレーニングに関する最初の分析である。
  論文  参考訳（メタデータ） (2022-04-12T21:26:49Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。