論文の概要: BSO: Binary Spiking Online Optimization Algorithm

• arxiv url: http://arxiv.org/abs/2511.12502v1
• Date: Sun, 16 Nov 2025 08:30:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:24.282981
• Title: BSO: Binary Spiking Online Optimization Algorithm
• Title（参考訳）: BSO:バイナリスパイキングオンライン最適化アルゴリズム
• Authors: Yu Liang, Yu Yang, Wenjie Wei, Ammar Belatreche, Shuai Wang, Malu Zhang, Yang Yang,
• Abstract要約: Binary Spiking Neural Networks (BSNNs) はリソース制約コンピューティングに有望な効率性を提供する。 トレーニングアルゴリズムは、遅延重みと時間的処理要求のためにメモリオーバーヘッドがかなり必要となることが多い。 本稿では、トレーニングメモリを大幅に削減する新しいオンライントレーニングアルゴリズムであるBinary Spiking Online(BSO)最適化アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 33.90317553838822
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Binary Spiking Neural Networks (BSNNs) offer promising efficiency advantages for resource-constrained computing. However, their training algorithms often require substantial memory overhead due to latent weights storage and temporal processing requirements. To address this issue, we propose Binary Spiking Online (BSO) optimization algorithm, a novel online training algorithm that significantly reduces training memory. BSO directly updates weights through flip signals under the online training framework. These signals are triggered when the product of gradient momentum and weights exceeds a threshold, eliminating the need for latent weights during training. To enhance performance, we propose T-BSO, a temporal-aware variant that leverages the inherent temporal dynamics of BSNNs by capturing gradient information across time steps for adaptive threshold adjustment. Theoretical analysis establishes convergence guarantees for both BSO and T-BSO, with formal regret bounds characterizing their convergence rates. Extensive experiments demonstrate that both BSO and T-BSO achieve superior optimization performance compared to existing training methods for BSNNs. The codes are available at https://github.com/hamings1/BSO.
• Abstract（参考訳）: Binary Spiking Neural Networks (BSNNs) はリソース制約コンピューティングに有望な効率性を提供する。 しかしながら、トレーニングアルゴリズムは、遅延重み付けストレージと時間的処理要求のために、かなりのメモリオーバーヘッドを必要とすることが多い。 この問題に対処するために、トレーニングメモリを大幅に削減する新しいオンライントレーニングアルゴリズムであるBinary Spiking Online(BSO)最適化アルゴリズムを提案する。 BSOはオンライントレーニングフレームワークの下でフリップシグナルを通じて重みを直接更新する。 これらの信号は、勾配運動量と重みの積がしきい値を超えるとトリガーされ、トレーニング中に潜伏重量の必要がなくなる。 適応しきい値調整のために,時間ステップにまたがる勾配情報をキャプチャすることで,BSNNの時間的ダイナミクスを活用する時間的対応型であるT-BSOを提案する。 理論的解析は、BSOとT-BSOの両方の収束保証を確立し、それらの収束率を特徴付ける形式的後悔境界を定めている。 大規模な実験により,BSNNの既存のトレーニング手法と比較して,BSOとT-BSOの最適化性能が優れていることが示された。 コードはhttps://github.com/hamings1/BSOで公開されている。

関連論文リスト

• Training Multi-Layer Binary Neural Networks With Local Binary Error Signals [3.7740044597960316]
  多層2層ニューラルネットワーク(BNN)のための完全二分法および勾配自由学習アルゴリズムを提案する。 提案アルゴリズムは局所的な二分誤差信号と二分重更新に依存しており、シナプス的メタ可塑性機構として機能する整数値の隠蔽重みを用いる。 実験の結果、既存の完全バイナリ単一層状態のソリューションに比べて、テスト精度は最大で+35.47%向上した。
  論文  参考訳（メタデータ） (2024-11-28T09:12:04Z)
• HM-DF SNN: Transcending Conventional Online Learning with Advanced Training and Deployment [39.6783548791379]
  スパイキングニューラルネットワーク(SNN)は、人工知能の将来の発展において大きな可能性を秘めていると考えられている。 現在のオンライン学習フレームワークは、時間依存勾配の不分離問題に対処できない。 本稿では,それぞれ異なるスパイキング計算方式を採用する高度なモデル群であるHM-DF(Hybrid Mechanism-Driven Firing)モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-10T02:39:22Z)
• Overcoming Recency Bias of Normalization Statistics in Continual Learning: Balance and Adaptation [67.77048565738728]
  継続的な学習には、一連のタスクを学習し、彼らの知識を適切にバランスさせることが含まれる。 本稿では,タスク・ワイド・コントリビューションに適応するためのベイズ的戦略を適切に取り入れた BN の適応バランス (AdaB$2$N) を提案する。 提案手法は,幅広いベンチマークにおいて,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2023-10-13T04:50:40Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• EXODUS: Stable and Efficient Training of Spiking Neural Networks [0.0]
  エネルギー効率が最も重要である機械学習タスクでは、スパイキングニューラルネットワーク(SNN)が大きな注目を集めている。 ShresthaとOrchard [2018]による以前の作業では、SLAYERと呼ばれる効率的なGPU加速バックプロパゲーションアルゴリズムが採用されており、トレーニングの大幅なスピードアップを実現している。 我々はSLAYERを修正してEXODUSと呼ばれるアルゴリズムを設計し、ニューロンリセット機構を考慮し、インプリシット関数定理(IFT)を適用して正しい勾配を計算する。
  論文  参考訳（メタデータ） (2022-05-20T15:13:58Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [62.932299614630985]
  本稿では, アクティベーション, ウェイト, 勾配の精度を徐々に向上させる, プログレッシブ分数量子化を統合したFracTrainを提案する。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。