論文の概要: S$^2$NN: Sub-bit Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2509.24266v1
• Date: Mon, 29 Sep 2025 04:17:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.742933
• Title: S$^2$NN: Sub-bit Spiking Neural Networks
• Title（参考訳）: S$^2$NN: サブビットスパイクニューラルネットワーク
• Authors: Wenjie Wei, Malu Zhang, Jieyuan Zhang, Ammar Belatreche, Shuai Wang, Yimeng Shan, Hanwen Liu, Honglin Cao, Guoqing Wang, Yang Yang, Haizhou Li,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、マシンインテリジェンスにエネルギー効率のよいパラダイムを提供する。 最近のバイナリSNNの進歩にもかかわらず、大規模ネットワークではストレージと計算の要求が相当に大きい。 1ビット未満の重みを表すサブビットスパイキングニューラルネットワーク(S$2$NNs)を提案する。
• 参考スコア（独自算出の注目度）: 53.08060832135342
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Neural Networks (SNNs) offer an energy-efficient paradigm for machine intelligence, but their continued scaling poses challenges for resource-limited deployment. Despite recent advances in binary SNNs, the storage and computational demands remain substantial for large-scale networks. To further explore the compression and acceleration potential of SNNs, we propose Sub-bit Spiking Neural Networks (S$^2$NNs) that represent weights with less than one bit. Specifically, we first establish an S$^2$NN baseline by leveraging the clustering patterns of kernels in well-trained binary SNNs. This baseline is highly efficient but suffers from \textit{outlier-induced codeword selection bias} during training. To mitigate this issue, we propose an \textit{outlier-aware sub-bit weight quantization} (OS-Quant) method, which optimizes codeword selection by identifying and adaptively scaling outliers. Furthermore, we propose a \textit{membrane potential-based feature distillation} (MPFD) method, improving the performance of highly compressed S$^2$NN via more precise guidance from a teacher model. Extensive results on vision and non-vision tasks reveal that S$^2$NN outperforms existing quantized SNNs in both performance and efficiency, making it promising for edge computing applications.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、マシンインテリジェンスにエネルギー効率のよいパラダイムを提供するが、その継続的なスケーリングはリソース制限されたデプロイメントに課題をもたらす。 最近のバイナリSNNの進歩にもかかわらず、大規模ネットワークではストレージと計算の要求が相当に大きい。 SNNの圧縮と加速度ポテンシャルをさらに探求するため,1ビット未満の重みを表すサブビットスパイキングニューラルネットワーク(S$^2$NNs)を提案する。 具体的には、よく訓練されたバイナリSNNにおけるカーネルのクラスタリングパターンを活用することにより、まずS$^2$NNベースラインを確立する。 このベースラインは非常に効率的だが、トレーニング中にtextit{outlier-induced codeword selection bias}に悩まされる。 この問題を軽減するために,コードワードの選択を最適化し,アウトレイラを適応的にスケーリングする,textit{outlier-aware sub-bit weight Quantization} (OS-Quant) 法を提案する。 さらに,教師モデルによるより正確な指導により,高度に圧縮されたS$^2$NNの性能を向上させるために,<textit{membrane potential-based feature distillation} (MPFD) 法を提案する。 S$^2$NNは、性能と効率の両方で既存の量子化されたSNNよりも優れており、エッジコンピューティングアプリケーションには有望である。

関連論文リスト

• A Self-Ensemble Inspired Approach for Effective Training of Binary-Weight Spiking Neural Networks [66.80058515743468]
  トレーニングスパイキングニューラルネットワーク(SNN)とバイナリニューラルネットワーク(BNN)は、差別化不可能なスパイク生成機能のために困難である。 本稿では, バックプロパゲーションプロセスの解析を通じて, SNN の力学とBNN との密接な関係を考察する。 具体的には、複数のショートカットの構造と知識蒸留に基づくトレーニング技術を活用し、(バイナリウェイト)SNNのトレーニングを改善する。
  論文  参考訳（メタデータ） (2025-08-18T04:11:06Z)
• QP-SNN: Quantized and Pruned Spiking Neural Networks [10.74122828236122]
  スパイキングニューラルネットワーク(SNN)はスパイクを利用して情報をエンコードし、イベント駆動方式で運用する。 資源限定シナリオにおいて,高性能なSNNを効果的に展開することを目的とした,ハードウェアフレンドリで軽量なSNNを提案する。
  論文  参考訳（メタデータ） (2025-02-09T13:50:59Z)
• Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
  本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。 我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。 実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
  論文  参考訳（メタデータ） (2023-03-25T13:53:02Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Sparsifying Binary Networks [3.8350038566047426]
  バイナリニューラルネットワーク(BNN)は、完全精度のディープニューラルネットワーク(DNN)と同等の精度で複雑なタスクを解く能力を示した。 最近の改善にもかかわらず、非常に限られたリソースを持つ特定のデバイスで不十分な、固定的で制限された圧縮要因に悩まされている。 本稿では,BNNの疎性を導入した新しいモデルとトレーニング手法であるスパースバイナリニューラルネットワーク(SBNN)と,ネットワークの重みをバイナライズする新しい量子化関数を提案する。
  論文  参考訳（メタデータ） (2022-07-11T15:54:41Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• S$^2$NN: Time Step Reduction of Spiking Surrogate Gradients for Training Energy Efficient Single-Step Neural Networks [0.40145248246551063]
  計算コストが低く高精度なシングルステップニューラルネットワーク(S$2$NN)を提案する。 提案されたS$2$NNは、隠れたレイヤ間の情報をスパイクによってSNNとして処理する。 時間次元を持たないため、トレーニングやBNNのような推論フェーズに遅延がない。
  論文  参考訳（メタデータ） (2022-01-26T11:31:21Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。