論文の概要: ReverB-SNN: Reversing Bit of the Weight and Activation for Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2506.07720v1
• Date: Mon, 09 Jun 2025 13:02:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.957392
• Title: ReverB-SNN: Reversing Bit of the Weight and Activation for Spiking Neural Networks
• Title（参考訳）: ReverB-SNN:スパイクニューラルネットワークの軽量化と活性化
• Authors: Yufei Guo, Yuhan Zhang, Zhou Jie, Xiaode Liu, Xin Tong, Yuanpei Chen, Weihang Peng, Zhe Ma,
• Abstract要約: 生物学的にインスパイアされたニューラルネットワーク基盤であるSpking Neural Network(SNN)は、最近大きな注目を集めている。 我々は textbfReverB-SNN と呼ばれる SNN の重みと活性化を逆転することを提唱する。 これにより、標準SNNのイベント駆動および乗算不要の利点を保ちながら、アクティベーションの情報容量を向上させることができる。
• 参考スコア（独自算出の注目度）: 22.66861050525175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Spiking Neural Network (SNN), a biologically inspired neural network infrastructure, has garnered significant attention recently. SNNs utilize binary spike activations for efficient information transmission, replacing multiplications with additions, thereby enhancing energy efficiency. However, binary spike activation maps often fail to capture sufficient data information, resulting in reduced accuracy. To address this challenge, we advocate reversing the bit of the weight and activation for SNNs, called \textbf{ReverB-SNN}, inspired by recent findings that highlight greater accuracy degradation from quantizing activations compared to weights. Specifically, our method employs real-valued spike activations alongside binary weights in SNNs. This preserves the event-driven and multiplication-free advantages of standard SNNs while enhancing the information capacity of activations. Additionally, we introduce a trainable factor within binary weights to adaptively learn suitable weight amplitudes during training, thereby increasing network capacity. To maintain efficiency akin to vanilla \textbf{ReverB-SNN}, our trainable binary weight SNNs are converted back to standard form using a re-parameterization technique during inference. Extensive experiments across various network architectures and datasets, both static and dynamic, demonstrate that our approach consistently outperforms state-of-the-art methods.
• Abstract（参考訳）: 生物学的にインスパイアされたニューラルネットワーク基盤であるSpking Neural Network (SNN)は、最近大きな注目を集めている。 SNNはバイナリスパイクアクティベーションを利用して情報伝達を効率化し、乗算を加算に置き換え、エネルギー効率を向上する。 しかし、バイナリスパイクアクティベーションマップは十分なデータ情報の取得に失敗することが多く、精度が低下する。 この課題に対処するため,SNNの重み付けとアクティベーションを逆転させることを提唱する。これは,重み付けよりもアクティベーションの定量化による精度劣化が顕著である,最近の知見から着想を得たものである。 具体的には,SNNの2値重みと並行して,実数値スパイクアクティベーションを用いる。 これにより、標準SNNのイベント駆動および乗算不要の利点を保ちながら、アクティベーションの情報容量を向上させることができる。 さらに,2次重み内にトレーニング可能な因子を導入し,トレーニング中に適切な重み振幅を適応的に学習し,ネットワーク容量を増大させる。 vanilla \textbf{ReverB-SNN} と同様の効率を維持するため、トレーニング可能な二分重SNNは推論時に再パラメータ化手法を用いて標準形に変換される。 静的かつ動的に、さまざまなネットワークアーキテクチャとデータセットにわたる大規模な実験は、我々のアプローチが常に最先端の手法より優れていることを示した。

関連論文リスト

• Deep activity propagation via weight initialization in spiking neural networks [10.69085409825724]
  Spiking Neural Networks (SNN)は、スパーシリティや超低消費電力といったバイオインスパイアされた利点を提供する。 ディープSNNは、実数値膜電位をバイナリスパイクに量子化することで、情報を処理し、伝達する。 提案手法は, 従来の手法とは異なり, スパイクの損失を伴わずに, 深部SNNにおける活動の伝播を可能にすることを理論的に示す。
  論文  参考訳（メタデータ） (2024-10-01T11:02:34Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Examining the Robustness of Spiking Neural Networks on Non-ideal Memristive Crossbars [4.184276171116354]
  ニューラルネットワークの低消費電力代替としてスパイキングニューラルネットワーク(SNN)が登場している。 本研究では,SNNの性能に及ぼすクロスバー非理想性と本質性の影響について検討した。
  論文  参考訳（メタデータ） (2022-06-20T07:07:41Z)
• Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks? [3.2108350580418166]
  スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。 SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-22T18:47:45Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Dynamic Binary Neural Network by learning channel-wise thresholds [9.432747511001246]
  信号関数の動的学習可能なチャンネルワイドしきい値とPRELUのシフトパラメータを組み込んだ動的BNN(DyBNN)を提案する。 DyBNNはReActNetの2つのバックボーン(MobileNetV1とResNet18)に基づいており、ImageNetデータセット上で71.2%と67.4%のトップ1精度を達成した。
  論文  参考訳（メタデータ） (2021-10-08T17:41:36Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。