論文の概要: Linearized Bregman Iterations for Sparse Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2603.16462v1
• Date: Tue, 17 Mar 2026 12:48:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:07.281201
• Title: Linearized Bregman Iterations for Sparse Spiking Neural Networks
• Title（参考訳）: スパーススパイクニューラルネットワークに対する線形化ブレグマン反復
• Authors: Daniel Windhager, Bernhard A. Moser, Michael Lunglmayr,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わるエネルギー効率の良い代替手段を提供する この研究は、SNNのトレーニングの最適化としてLBI(Linearized Bregman Iterations)を導入している。 収束と一般化を改善するために、AdaBregeration(AdaBregeration)を用いる。
• 参考スコア（独自算出の注目度）: 0.1274452325287335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) offer an energy efficient alternative to conventional Artificial Neural Networks (ANNs) but typically still require a large number of parameters. This work introduces Linearized Bregman Iterations (LBI) as an optimizer for training SNNs, enforcing sparsity through iterative minimization of the Bregman distance and proximal soft thresholding updates. To improve convergence and generalization, we employ the AdaBreg optimizer, a momentum and bias corrected Bregman variant of Adam. Experiments on three established neuromorphic benchmarks, i.e. the Spiking Heidelberg Digits (SHD), the Spiking Speech Commands (SSC), and the Permuted Sequential MNIST (PSMNIST) datasets, show that LBI based optimization reduces the number of active parameters by about 50% while maintaining accuracy comparable to models trained with the Adam optimizer, demonstrating the potential of convex sparsity inducing methods for efficient neuromorphic learning.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わるエネルギー効率の良い代替手段を提供するが、通常は多くのパラメータを必要とする。 本研究は,線形化ブレグマン反復(LBI)をSNNのトレーニングの最適化として導入し,ブレグマン距離の反復最小化と近位ソフトしきい値更新によって間隔を拡大する。 収束と一般化を改善するために、モーメントとバイアス補正されたアダムのブレグマン変種である AdaBreg Optimizationr を用いる。 Spiking Heidelberg Digits (SHD)、Spking Speech Commands (SSC)、Permuted Sequential MNIST (PSMNIST) データセットの3つの確立されたニューロモルフィックベンチマークの実験では、LBIベースの最適化は、Adamオプティマイザで訓練されたモデルに匹敵する精度を維持しながら、活性パラメータの約50%を減少させ、効率的なニューロモルフィック学習のための凸空間性誘導法の可能性を示している。

関連論文リスト

• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks [19.490903216456758]
  スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。 既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
  論文  参考訳（メタデータ） (2022-10-12T16:39:46Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Can we learn gradients by Hamiltonian Neural Networks? [68.8204255655161]
  本稿では,勾配を学習するODEニューラルネットワークに基づくメタラーナを提案する。 提案手法は,LLUアクティベーションを最適化したMLMとMNISTデータセットにおいて,LSTMに基づくメタラーナーよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-31T18:35:10Z)
• Multi-Objective Optimisation of Cortical Spiking Neural Networks With Genetic Algorithms [0.7995360025953929]
  スパイキングニューラルネットワーク(SNN)は、ニューロンのオール・オア・ノー・スパイキング活動を通じて通信する。 遺伝的アルゴリズム(GA)を効率的なSNNモデルに最適化する以前の研究は、単一のパラメータと目的に限られていた。 この研究は、Non-dominated sorting GA (NSGA-III) と呼ばれるGAのバージョンを適用し、同じSNN上で多目的最適化を行う可能性を示した。
  論文  参考訳（メタデータ） (2021-05-14T13:35:39Z)
• Multi-Sample Online Learning for Spiking Neural Networks based on Generalized Expectation Maximization [42.125394498649015]
  スパイキングニューラルネットワーク(SNN)は、バイナリニューラルダイナミックアクティベーションを通じて処理することで、生物学的脳の効率の一部をキャプチャする。 本稿では, シナプス重みを共有しながら, 独立したスパイキング信号をサンプリングする複数のコンパートメントを活用することを提案する。 鍵となる考え方は、これらの信号を使ってログライクなトレーニング基準のより正確な統計的推定と勾配を求めることである。
  論文  参考訳（メタデータ） (2021-02-05T16:39:42Z)
• Delta-STN: Efficient Bilevel Optimization for Neural Networks using Structured Response Jacobians [5.33024001730262]
  自己チューニングネットワーク(STN)は,最近,内部目標の最適化を補正する能力によって,注目を集めている。 トレーニングを安定化する改良されたハイパーネットワークアーキテクチャであるDelta$-STNを提案する。
  論文  参考訳（メタデータ） (2020-10-26T12:12:23Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。