論文の概要: Sharpness Aware Surrogate Training for Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2603.18039v1
• Date: Sat, 14 Mar 2026 01:26:26 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-03-20 11:06:58.360736
• Title: Sharpness Aware Surrogate Training for Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークのためのシャープネスアウェアサロゲートトレーニング
• Authors: Maximilian Nicholson,
• Abstract要約: サロゲート勾配はスパイキングニューラルネットワーク(SNN)を訓練するための標準ツールである しかし、従来のハードフォワードまたはサロゲート後方トレーニングは、偏りのある推定器を備えた非滑らかなフォワードモデルである。 後方プロパゲーションにより訓練した前方SNNに対して,シャープネス・アウェア・サロゲート・トレーニング(SAST)を適用し,シャープネス・アウェア・サロゲート・トレーニング(SAM)を適用した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Surrogate gradients are a standard tool for training spiking neural networks (SNNs), but conventional hard forward or surrogate backward training couples a nonsmooth forward model with a biased gradient estimator. We study sharpness aware Surrogate Training (SAST), which applies sharpness aware Minimization (SAM) to a surrogate forward SNN trained by backpropagation. In this formulation, the optimization target is an ordinary smooth empirical risk, so the training gradient is exact for the auxiliary model being optimized. Under explicit boundedness and contraction assumptions, we derive compact state stability and input Lipschitz bounds, establish smoothness of the surrogate objective, provide a first order SAM approximation bound, and prove a nonconvex convergence guarantee for stochastic SAST with an independent second minibatch. We also isolate a local mechanism proposition, stated separately from the unconditional guarantees, that links per sample parameter gradient control to smaller input gradient norms under local Jacobian conditioning. Empirically, we evaluate clean accuracy, hard spike transfer, corruption robustness, and training overhead on N-MNIST and DVS Gesture. The clearest practical effect is transfer gap reduction: on N-MNIST, hard spike accuracy rises from 65.7% to 94.7% (best at $ρ=0.30$) while surrogate forward accuracy remains high; on DVS Gesture, hard spike accuracy improves from 31.8% to 63.3% (best at $ρ=0.40$). We additionally specify the compute matched, calibration, and theory alignment controls required for a final practical assessment.
• Abstract（参考訳）: サロゲート勾配はスパイキングニューラルネットワーク(SNN)をトレーニングするための標準ツールであるが、従来のハードフォワードまたはサロゲート後方トレーニングはバイアス勾配推定器を備えた非滑らかなフォワードモデルである。 後方プロパゲーションにより訓練されたSNNに対して,シャープネス・アウェア・サロゲート・トレーニング(SAST)を適用したシャープネス・アウェア・サロゲート・トレーニング(SAM)について検討した。 この定式化では、最適化対象は通常のスムーズな経験的リスクであり、最適化された補助モデルに対してトレーニング勾配が正確である。 明示的な有界性と収縮仮定の下で、コンパクトな状態安定性と入力リプシッツ境界を導出し、サロゲート対象の滑らかさを確立し、一階SAM近似境界を与え、独立な第2のミニバッチを持つ確率的SASTに対する非凸収束保証を証明する。 また,局所的ヤコビ条件下でのサンプルパラメータ勾配制御を,より小さな入力勾配ノルムにリンクする,非条件保証とは別個の局所メカニズム命題を分離する。 実験により,N-MNISTとDVS Gestureの精度,硬いスパイク伝達,汚損堅牢性,トレーニングオーバーヘッドを評価した。 N-MNISTでは、ハードスパイクの精度は65.7%から94.7%に上昇するが、フォワードの精度は高いままであり、DVS Gestureではハードスパイクの精度は31.8%から63.3%に向上している。 さらに、最終的な実用性評価に必要な計算整合性、校正性、理論整合性制御を規定する。

関連論文リスト

• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
  そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。 我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。 GAQATフレームワークの有効性を実験により検証した。
  論文  参考訳（メタデータ） (2024-12-07T06:07:21Z)
• MixedNUTS: Training-Free Accuracy-Robustness Balance via Nonlinearly Mixed Classifiers [41.56951365163419]
  MixedNUTSは、ロバストな分類器の出力ロジットを3つのパラメータしか持たない非線形変換で処理する訓練不要の手法である。 MixedNUTSは変換されたロジットを確率に変換し、それらを全体の出力として混合する。 CIFAR-10、CIFAR-100、ImageNetデータセットでは、MixedNUTSの精度とほぼSOTAの堅牢性を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-03T21:12:36Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Confidence-aware Training of Smoothed Classifiers for Certified Robustness [75.95332266383417]
  我々は「ガウス雑音下での精度」を、入力に対する対角的ロバスト性の容易に計算可能なプロキシとして利用する。 実験の結果, 提案手法は, 最先端の訓練手法による信頼性向上を継続的に示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-18T03:57:12Z)
• (Certified!!) Adversarial Robustness for Free! [116.6052628829344]
  逆方向の摂動が0.5の2ノルム以内であることに制約された場合,ImageNetでは71%の精度が証明された。 これらの結果は,モデルパラメータの微調整や再学習を必要とせず,事前学習した拡散モデルと画像分類器のみを用いて得られる。
  論文  参考訳（メタデータ） (2022-06-21T17:27:27Z)
• Robust Learning via Persistency of Excitation [4.674053902991301]
  勾配勾配勾配を用いたネットワークトレーニングは力学系パラメータ推定問題と等価であることを示す。 極値理論を用いて対応するリプシッツ定数を推定する効率的な手法を提案する。 我々の手法は、様々な最先端の対数訓練モデルにおいて、対数精度を0.1%から0.3%に普遍的に向上させる。
  論文  参考訳（メタデータ） (2021-06-03T18:49:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。