論文の概要: On the second-order optimization for spiking neural networks

• arxiv url: http://arxiv.org/abs/2609.29379v1
• Date: Thu, 24 Sep 2026 11:02:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.856738
• Title: On the second-order optimization for spiking neural networks
• Title（参考訳）: スパイクニューラルネットワークの2次最適化について
• Abstract要約: Spiking Neural Networks(SNN)は、スパース、バイナリスパイク、イベント駆動型計算を活用することで、従来のニューラルネットワークに代わるエネルギー効率の高い代替手段を提供する。 SNNのトレーニングは、スパイクアクティベーションがトレーニングを妨げる鋭いロスランドスケープを生み出すため、依然として困難である。 本稿では,SNNの構造に特化して適合するフィッシャー情報行列の計算可能でKroneckerによる近似を定式化する2階最適化手法であるSpikeKFAXを提案する。
• 参考スコア（独自算出の注目度）: 6.624445089901182
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Neural Networks (SNNs) offer an energy-efficient alternative to conventional neural networks by exploiting sparse, binary spikes, and event-driven computation. However, the training of SNNs remains challenging, as spiking activations create a sharp loss landscape that hinders training, and diagonal-curvature optimizers such as the Adam family may fail to capture this geometry. The extension of curvature-based optimization methods to SNNs is further complicated by the sparse, discrete, and temporally recurrent nature of their underlying dynamics. To address these limitations, we propose SpiKFAX, a second-order optimization method that formulates a computationally tractable, Kronecker-factored approximation of the Fisher information matrix specifically adapted to the structure of SNNs. Empirical evaluation across five architectures and seven datasets demonstrates that SpiKFAX consistently yields improvements in test accuracy and training stability relative to other popular optimizers.
• Abstract（参考訳）: Spiking Neural Networks(SNN)は、スパース、バイナリスパイク、イベント駆動型計算を活用することで、従来のニューラルネットワークに代わるエネルギー効率の高い代替手段を提供する。 しかし、SNNのトレーニングは、スパイクアクティベーションがトレーニングを妨げる鋭いロスランドスケープを生み出し、アダム家のような対角曲率オプティマイザは、この幾何学を捉えないかもしれないため、依然として困難である。 SNNへの曲率に基づく最適化手法の拡張は、その基礎となる力学のスパース性、離散性、時間的反復性によりさらに複雑である。 これらの制約に対処するため、SNNの構造に特異的に適応したフィッシャー情報行列の計算可能でKroneckerによる近似を定式化する2階最適化法であるSpikeKFAXを提案する。 5つのアーキテクチャと7つのデータセットにまたがる実証的な評価は、SpikeFAXが他の一般的なオプティマイザと比較して、テストの正確性とトレーニングの安定性を一貫して改善していることを示している。

関連論文リスト

• Globally Optimal Training of Spiking Neural Networks via Parameter Reconstruction [21.873941320853763]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わる生物学的に妥当でエネルギー効率のよい代替手段として提案されている。 本稿では,SNN学習におけるパラメータ再構成アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-05-08T17:10:08Z)
• Random Feature Spiking Neural Networks [0.6875312133832079]
  機械学習(ML)モデルとしてのスパイキングニューラルネットワーク(SNN)は最近、多くの注目を集めている。 本稿では,SNNのエンドツーエンドトレーニングのための新しいデータ駆動,高速,高性能,解釈可能なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:18:40Z)
• Performance Analysis of Convolutional Neural Network By Applying Unconstrained Binary Quadratic Programming [0.0]
  畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンとビッグデータ分析において重要であるが、大規模なデータセットでトレーニングされた場合には、かなりの計算リソースを必要とする。 CNNトレーニングを高速化するために,Unconstrained Binary Quadratic Programming (UBQP) と Gradient Descent (SGD) を組み合わせたハイブリッド最適化手法を提案する。 提案手法は, BP-CNNベースラインの10-15%の精度向上を実現し, 同様の実行時間を維持する。
  論文  参考訳（メタデータ） (2025-05-30T21:25:31Z)
• Efficient Fault Detection in WSN Based on PCA-Optimized Deep Neural Network Slicing Trained with GOA [0.6827423171182154]
  従来の障害検出手法は、効率的なパフォーマンスのためにディープニューラルネットワーク(DNN)の最適化に苦労することが多い。 本研究では,これらの制約に対処するためにGrasshopper Optimization Algorithm(GOA)によって最適化されたDNNと主成分分析(PCA)を組み合わせた新しいハイブリッド手法を提案する。 従来の手法よりも優れた精度とリコールで,99.72%の分類精度を実現している。
  論文  参考訳（メタデータ） (2025-05-11T15:51:56Z)
• Lattice-Based Pruning in Recurrent Neural Networks via Poset Modeling [0.0]
  リカレントニューラルネットワーク(RNN)はシーケンスモデリングタスクの中心であるが、その高い計算複雑性はスケーラビリティとリアルタイムデプロイメントの課題を引き起こす。 本稿では,RNNを部分的に順序付けられた集合(命題)としてモデル化し,対応する依存格子を構成する新しいフレームワークを提案する。 既約ニューロンを同定することにより、格子ベースのプルーニングアルゴリズムは、冗長なニューロンを除去しながら、重要な接続を選択的に保持する。
  論文  参考訳（メタデータ） (2025-02-23T10:11:38Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。