論文の概要: Sharpness-Aware Surrogate Training for On-Sensor Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2604.09696v1
- Date: Mon, 06 Apr 2026 23:32:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:15.604585
- Title: Sharpness-Aware Surrogate Training for On-Sensor Spiking Neural Networks
- Title（参考訳）: オンセンサースパイクニューラルネットワークのシャープネスを考慮したサロゲートトレーニング
- Authors: Maximilian Nicholson,
- Abstract要約: シュロゲートフォワードSNNにシャープネス対応シャープネス認識(SAST)を導入し,トレーニング対象がスムーズで勾配が正確であることを示す。
2つのイベントカメラベンチマークでは、スワップのみのハードスパイク精度が、N-MNISTでは65.7%から94.7%に改善され、DVS Gestureでは31.8%から63.3%に改善された。
これらの結果は、SASTがテスト設定下でのオンセンサースパイク推論のためのより広範なツールボックスの有望なコンポーネントであることを示唆している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking neural networks (SNNs) are a natural computational model for on-sensor and near-sensor vision, where event driven processors must operate under strict power budgets with hard binary spikes. However, models trained with surrogate gradients often degrade sharply when the smooth surrogate nonlinearity is replaced by a hard threshold at deployment; a surrogate-to-hard transfer gap that directly limits on-sensor accuracy. We study Sharpness-Aware Surrogate Training (SAST), which applies Sharpness-Aware Minimization (SAM) to a surrogate-forward SNN so that the training objective is smooth and the gradient is exact, and position it as one gap-reduction strategy under the tested settings rather than the only viable mechanism. Under explicit contraction assumptions we provide state-stability, input-Lipschitz, and smoothness bounds, together with a corresponding nonconvex convergence result. On two event-camera benchmarks, swap-only hard-spike accuracy improves from 65.7\% to 94.7\% on N-MNIST and from 31.8\% to 63.3\% on DVS Gesture. Under a hardware-aware inference simulation (INT8/INT4 weight quantization, fixed-point membrane potentials, discrete leak factors), SAST remains strong: on N-MNIST, hard-spike accuracy improves from 47.6\% to 96.9\% (INT8) and from 43.2\% to 81.0\% (INT4), while on DVS Gesture it improves from 25.3\% to 47.6\% (INT8) and from 26.0\% to 43.8\% (INT4). SynOps also decrease under the same hardware-aware setting, including 1734k$\rightarrow$1315k (N-MNIST, INT8) and 86221k$\rightarrow$4323k (DVS Gesture, INT8). These results suggest that SAST is a promising component in a broader toolbox for on-sensor spiking inference under the tested settings.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、オンセンサーとニアセンサービジョンの自然な計算モデルであり、イベント駆動プロセッサはハードバイナリスパイクを持つ厳格な電力予算の下で動作しなければならない。
しかし、サロゲート勾配で訓練されたモデルは、スムーズなサロゲート非線形性を配置時にハードしきい値に置き換えると、しばしば急激に劣化する。
本研究では,シャープネス・アウェア・サロゲート・トレーニング(SAST)について検討し,シャープネス・アウェア・サロゲート・トレーニング(SAM)をサロゲート・フォワードSNNに適用し,トレーニング対象がスムーズで勾配が正確になるようにし,テスト環境下でのギャップ低減戦略として位置づける。
明示的な収縮仮定の下では、状態安定性、入力-リプシッツ、滑らか性境界、および対応する非凸収束結果を提供する。
2つのイベントカメラベンチマークでは、スワップのみのハードスパイク精度は、N-MNISTでは65.7\%から94.7\%に改善され、DVS Gestureでは31.8\%から63.3\%に改善された。
N-MNISTではハードスパイク精度は47.6\%から96.9\%(INT8)、43.2\%から81.0\%(INT4)、DVS Gestureでは25.3\%から47.6\%(INT8)、26.0\%から43.8\%(INT4)となっている。
SynOpsは1734k$\rightarrow$1315k (N-MNIST, INT8) や86221k$\rightarrow$4323k (DVS Gesture, INT8) など、ハードウェアを意識した設定でも減少している。
これらの結果は、SASTがテスト設定下でのオンセンサースパイク推論のためのより広範なツールボックスの有望なコンポーネントであることを示唆している。
関連論文リスト
- BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。
本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。
実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
論文 参考訳（メタデータ） (2026-04-05T04:25:07Z) - Surrogates, Spikes, and Sparsity: Performance Analysis and Characterization of SNN Hyperparameters on Hardware [3.632189127068905]
スパイキングニューラルネットワーク(SNN)は、スパースでイベント駆動型計算による低消費電力推論に固有の利点を提供する。
SNNの理論的エネルギの利点は、トレーニング時間選択と推論時間間隔の間の不透明な関係のため、実際のハードウェア性能から切り離されることが多い。
論文 参考訳（メタデータ） (2026-03-26T00:12:43Z) - Sharpness Aware Surrogate Training for Spiking Neural Networks [0.0]
サロゲート勾配はスパイキングニューラルネットワーク(SNN)を訓練するための標準ツールである
しかし、従来のハードフォワードまたはサロゲート後方トレーニングは、偏りのある推定器を備えた非滑らかなフォワードモデルである。
後方プロパゲーションにより訓練した前方SNNに対して,シャープネス・アウェア・サロゲート・トレーニング(SAST)を適用し,シャープネス・アウェア・サロゲート・トレーニング(SAM)を適用した。
論文 参考訳（メタデータ） (2026-03-14T01:26:26Z) - Activation Outliers in Transformer Quantization: Reproduction, Statistical Analysis, and Deployment Tradeoffs [0.0]
変圧器のポストトレーニング量子化(PTQ)は、構造化されたアクティベーションアウトリアによる精度の低下に悩まされていることが知られている。
本稿では,QNLIで微調整されたBERTベースにおける再現可能な経験的再現と,その現象のシステムレベルの拡張について述べる。
論文 参考訳（メタデータ） (2026-03-04T17:26:29Z) - Neural Precision Polarization: Simplifying Neural Network Inference with Dual-Level Precision [0.4124847249415279]
浮動小数点モデルはクラウドでトレーニングされ、エッジデバイスにダウンロードされる。
ネットワークの重みとアクティベーションは、NF4やINT8のようなエッジデバイスの望ましいレベルを満たすために直接量子化される。
本稿では,Watt MAC の効率と信頼性について,約464 TOPS のニューラル精度の偏極が可能であることを示す。
論文 参考訳（メタデータ） (2024-11-06T16:02:55Z) - Cal-DETR: Calibrated Detection Transformer [67.75361289429013]
本稿では,Deformable-DETR,UP-DETR,DINOのキャリブレーション検出トランス(Cal-DETR)のメカニズムを提案する。
我々は、不確実性を利用してクラスロジットを変調する不確実性誘導ロジット変調機構を開発する。
その結果、Cal-DETRは、ドメイン内およびドメイン外の両方を校正する競合する列車時間法に対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-11-06T22:13:10Z) - VS-Quant: Per-vector Scaled Quantization for Accurate Low-Precision
Neural Network Inference [7.886868529510128]
量子化は、訓練されたモデルの浮動小数点重みとアクティベーションをスケールファクターを用いて低ビット幅整数値にマッピングする。
過剰な量子化、過度に精度を低下させると、精度が低下する。
ベクトル単位のスケールファクタは、2レベル量子化スキームを使用する場合、低ビット幅の整数で実装できる。
論文 参考訳（メタデータ） (2021-02-08T19:56:04Z) - HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。
HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
論文 参考訳（メタデータ） (2020-11-20T23:51:43Z) - Smooth Adversarial Training [120.44430400607483]
ネットワークは正確かつ堅牢であると一般に信じられている。
ここでは、敵対的訓練に関する慎重な研究により、これらの共通の信念に挑戦する証拠を提示する。
本研究では、ReLUをそのスムーズな近似で置き換えて、逆行訓練を強化するスムーズな逆行訓練(SAT)を提案する。
論文 参考訳（メタデータ） (2020-06-25T16:34:39Z) - Second-Order Provable Defenses against Adversarial Attacks [63.34032156196848]
ネットワークの固有値が有界であれば、凸最適化を用いて$l$ノルムの証明を効率的に計算できることを示す。
認証精度は5.78%,44.96%,43.19%であった。
論文 参考訳（メタデータ） (2020-06-01T05:55:18Z) - Towards Unified INT8 Training for Convolutional Neural Network [83.15673050981624]
共用畳み込みニューラルネットワークのための統合8ビット(INT8)トレーニングフレームワークを構築した。
まず、勾配の4つの特徴を経験的に発見し、勾配量子化の洞察力のある手がかりを与える。
勾配の方向ずれを低減させる方向感度勾配クリッピングを含む2つの普遍的手法を提案する。
論文 参考訳（メタデータ） (2019-12-29T08:37:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。