論文の概要: Towards Robust Spiking Neural Networks:Mitigating Heterogeneous Training Vulnerability via Dominant Eigencomponent Projection

• arxiv url: http://arxiv.org/abs/2505.11134v1
• Date: Fri, 16 May 2025 11:29:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:14.789593
• Title: Towards Robust Spiking Neural Networks:Mitigating Heterogeneous Training Vulnerability via Dominant Eigencomponent Projection
• Title（参考訳）: ロバストスパイクニューラルネットワークに向けて:支配的固有成分投影による不均一トレーニング脆弱性の緩和
• Authors: Desong Zhang, Jia Hu, Geyong Min,
• Abstract要約: スパイクニューラルネットワーク(SNN)は離散的なスパイクを通じて情報を処理し、極めて低いエネルギーレベルで操作することができる。 実験では、SNNがメインストリームのメソッドを使ってトレーニングされている場合、直接エンコーディングと時間によるバックプロパゲーションが組み合わさると、重大な脆弱性が明らかになる。
• 参考スコア（独自算出の注目度）: 21.5491519186604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Neural Networks (SNNs) process information via discrete spikes, enabling them to operate at remarkably low energy levels. However, our experimental observations reveal a striking vulnerability when SNNs are trained using the mainstream method--direct encoding combined with backpropagation through time (BPTT): even a single backward pass on data drawn from a slightly different distribution can lead to catastrophic network collapse. Our theoretical analysis attributes this vulnerability to the repeated inputs inherent in direct encoding and the gradient accumulation characteristic of BPTT, which together produce an exceptional large Hessian spectral radius. To address this challenge, we develop a hyperparameter-free method called Dominant Eigencomponent Projection (DEP). By orthogonally projecting gradients to precisely remove their dominant components, DEP effectively reduces the Hessian spectral radius, thereby preventing SNNs from settling into sharp minima. Extensive experiments demonstrate that DEP not only mitigates the vulnerability of SNNs to heterogeneous data poisoning, but also significantly enhances overall robustness compared to key baselines, providing strong support for safer and more reliable SNN deployment.
• Abstract（参考訳）: スパイクニューラルネットワーク(SNN)は離散的なスパイクを通じて情報を処理し、極めて低いエネルギーレベルで操作することができる。 しかし,実験結果から,SNNが主流の手法である直接符号化と時間による逆伝播(BPTT)を併用してトレーニングされる場合,わずかに異なる分布から引き出されたデータに対する単一の後方通過であっても,破滅的なネットワーク崩壊を引き起こす可能性が示唆された。 この脆弱性は,直接符号化に固有の繰り返し入力とBPTTの勾配蓄積特性に起因し,非常に大きなヘッセンスペクトル半径を生じる。 この課題に対処するため,DEP(Dominant Eigencomponent Projection)と呼ばれるハイパーパラメータフリーな手法を開発した。 直交的に勾配を投影して支配的な成分を正確に除去することにより、DEPはヘッセンスペクトル半径を効果的に低減し、SNNが鋭い最小値に沈めるのを防ぐ。 大規模な実験により、DEPはSNNの脆弱性を不均一なデータ中毒に軽減するだけでなく、キーベースラインに比べて全体的な堅牢性を著しく向上し、より安全で信頼性の高いSNNデプロイメントを強力にサポートしている。

関連論文リスト

• DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
  グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。 BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。 半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:24:51Z)
• Low Latency of object detection for spikng neural network [3.404826786562694]
  スパイキングニューラルネットワークは、バイナリスパイクの性質のため、エッジAIアプリケーションに適している。 本稿では,オブジェクト検出に特化して,高精度で低遅延なSNNを生成することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-09-27T10:26:19Z)
• Inherent Redundancy in Spiking Neural Networks [24.114844269113746]
  スパイキングネットワーク(SNN)は、従来の人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段である。 本研究では,SNNにおける固有冗長性に関する3つの重要な疑問に焦点をあてる。 本稿では,SNNの冗長性を活用するためのアドバンストアテンション(ASA)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-16T08:58:25Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks [19.490903216456758]
  スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。 既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
  論文  参考訳（メタデータ） (2022-10-12T16:39:46Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Inherent Adversarial Robustness of Deep Spiking Neural Networks: Effects of Discrete Input Encoding and Non-Linear Activations [9.092733355328251]
  スパイキングニューラルネットワーク(SNN)は、敵対的攻撃に対する固有の堅牢性の候補である。 本研究では、勾配に基づく攻撃によるSNNの対向精度が、非スパイク攻撃よりも高いことを示す。
  論文  参考訳（メタデータ） (2020-03-23T17:20:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。