論文の概要: Towards Accurate Binary Spiking Neural Networks: Learning with Adaptive Gradient Modulation Mechanism

• arxiv url: http://arxiv.org/abs/2502.14344v1
• Date: Thu, 20 Feb 2025 07:59:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:27:27.123816
• Title: Towards Accurate Binary Spiking Neural Networks: Learning with Adaptive Gradient Modulation Mechanism
• Title（参考訳）: 2元スパイクニューラルネットワークの精度向上に向けて--適応的なグラディエント変調機構による学習
• Authors: Yu Liang, Wenjie Wei, Ammar Belatreche, Honglin Cao, Zijian Zhou, Shuai Wang, Malu Zhang, Yang Yang,
• Abstract要約: バイナリスパイキングニューラルネットワーク(BSNN)は、SNNのイベント駆動パラダイムを継承すると同時に、バイナライゼーション技術によるストレージ負荷の低減も実現している。 これらの異なるアドバンテージは、BSNNの軽量でエネルギー効率のよい特性を与え、リソース制約のエッジデバイスへのデプロイに最適である。 しかしながら、二成分のシナプス重みと非微分スパイク関数のため、BSNNを効果的に訓練することは未解決の問題である。
• 参考スコア（独自算出の注目度）: 14.425611637823511
• License:
• Abstract: Binary Spiking Neural Networks (BSNNs) inherit the eventdriven paradigm of SNNs, while also adopting the reduced storage burden of binarization techniques. These distinct advantages grant BSNNs lightweight and energy-efficient characteristics, rendering them ideal for deployment on resource-constrained edge devices. However, due to the binary synaptic weights and non-differentiable spike function, effectively training BSNNs remains an open question. In this paper, we conduct an in-depth analysis of the challenge for BSNN learning, namely the frequent weight sign flipping problem. To mitigate this issue, we propose an Adaptive Gradient Modulation Mechanism (AGMM), which is designed to reduce the frequency of weight sign flipping by adaptively adjusting the gradients during the learning process. The proposed AGMM can enable BSNNs to achieve faster convergence speed and higher accuracy, effectively narrowing the gap between BSNNs and their full-precision equivalents. We validate AGMM on both static and neuromorphic datasets, and results indicate that it achieves state-of-the-art results among BSNNs. This work substantially reduces storage demands and enhances SNNs' inherent energy efficiency, making them highly feasible for resource-constrained environments.
• Abstract（参考訳）: バイナリスパイキングニューラルネットワーク(BSNN)は、SNNのイベント駆動パラダイムを継承すると同時に、バイナライゼーション技術によるストレージ負荷の低減も実現している。 これらの異なるアドバンテージは、BSNNの軽量でエネルギー効率のよい特性を与え、リソース制約のエッジデバイスへのデプロイに最適である。 しかしながら、二成分のシナプス重みと非微分スパイク関数のため、BSNNを効果的に訓練することは未解決の問題である。 本稿では,BSNN学習における課題,すなわち重み付けフリップ問題について,詳細な分析を行う。 この問題を緩和するために,学習過程の勾配を適応的に調整することにより,重み付けのフリップの頻度を低減するための適応的勾配変調機構 (AGMM) を提案する。 提案したAGMMにより,BSNNの収束速度と精度が向上し,BSNNとその完全精度等価値とのギャップを効果的に狭めることができる。 我々はAGMMを静的およびニューロモルフィックなデータセットの両方で検証し、その結果、BSNN間の最先端の結果が得られたことを示す。 この作業は、ストレージ要求を大幅に削減し、SNN固有のエネルギー効率を向上し、資源に制約のある環境でも実現可能である。

関連論文リスト

• Adaptive Calibration: A Unified Conversion Framework of Spiking Neural Network [1.5215973379400674]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)の代替としてエネルギー効率が高いと見なされる 変換されたSNNの性能と効率を大幅に向上させる一貫した学習自由変換フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T09:38:54Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Scalable Mechanistic Neural Networks [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• Directly Training Temporal Spiking Neural Network with Sparse Surrogate Gradient [8.516243389583702]
  脳にインスパイアされたスパイキングニューラルネットワーク(SNN)は、イベントベースのコンピューティングとエネルギー効率の良い機能によって、多くの注目を集めている。 本研究では,SNNの一般化能力を向上させるため,MSG(Masked Surrogate Gradients)を提案する。
  論文  参考訳（メタデータ） (2024-06-28T04:21:32Z)
• An Automata-Theoretic Approach to Synthesizing Binarized Neural Networks [13.271286153792058]
  量子ニューラルネットワーク(QNN)が開発され、二項化ニューラルネットワーク(BNN)は特殊なケースとしてバイナリ値に制限されている。 本稿では,指定された特性を満たすBNNの自動合成手法を提案する。
  論文  参考訳（メタデータ） (2023-07-29T06:27:28Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• tinySNN: Towards Memory- and Energy-Efficient Spiking Neural Networks [14.916996986290902]
  スパイキングニューラルネットワーク(SNN)モデルは、高い精度を提供できるため、一般的に好適である。 しかし、資源とエネルギーを制約した組込みプラットフォームにそのようなモデルを適用することは非効率である。 本稿では,SNN処理のメモリおよびエネルギー要求を最適化する小型SNNフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-17T09:40:40Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• Optimal Conversion of Conventional Artificial Neural Networks to Spiking Neural Networks [0.0]
  spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。 しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。 提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
  論文  参考訳（メタデータ） (2021-02-28T12:04:22Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。