論文の概要: Fine-Tuning Surrogate Gradient Learning for Optimal Hardware Performance
in Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2402.06211v1
- Date: Fri, 9 Feb 2024 06:38:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 17:54:44.241251
- Title: Fine-Tuning Surrogate Gradient Learning for Optimal Hardware Performance
in Spiking Neural Networks
- Title（参考訳）: スパイクニューラルネットワークにおける最適ハードウェア性能のための微調整サロゲート勾配学習
- Authors: Ilkin Aliyev and Tosiron Adegbija
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、ハードウェアで慎重に活用することで、膨大なエネルギー効率の恩恵をもたらすことができる。
この研究は、トレーニングがハードウェアのパフォーマンスに与える影響に関する新たな洞察を明らかにします。
- 参考スコア（独自算出の注目度）: 1.52292571922932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The highly sparse activations in Spiking Neural Networks (SNNs) can provide
tremendous energy efficiency benefits when carefully exploited in hardware. The
behavior of sparsity in SNNs is uniquely shaped by the dataset and training
hyperparameters. This work reveals novel insights into the impacts of training
on hardware performance. Specifically, we explore the trade-offs between model
accuracy and hardware efficiency. We focus on three key hyperparameters:
surrogate gradient functions, beta, and membrane threshold. Results on an
FPGA-based hardware platform show that the fast sigmoid surrogate function
yields a lower firing rate with similar accuracy compared to the arctangent
surrogate on the SVHN dataset. Furthermore, by cross-sweeping the beta and
membrane threshold hyperparameters, we can achieve a 48% reduction in
hardware-based inference latency with only 2.88% trade-off in inference
accuracy compared to the default setting. Overall, this study highlights the
importance of fine-tuning model hyperparameters as crucial for designing
efficient SNN hardware accelerators, evidenced by the fine-tuned model
achieving a 1.72x improvement in accelerator efficiency (FPS/W) compared to the
most recent work.
- Abstract（参考訳）: Spiking Neural Networks(SNN)の高度にスパースなアクティベーションは、ハードウェアで慎重に活用した場合、膨大なエネルギー効率の恩恵をもたらす。
SNNにおけるスパーシティの挙動は、データセットとハイパーパラメータのトレーニングによって一意に形作られています。
この研究は、ハードウェアのパフォーマンスに対するトレーニングの影響に関する新しい洞察を示しています。
具体的には,モデル精度とハードウェア効率のトレードオフについて検討する。
我々は,サブロゲート勾配関数,ベータ,膜閾値という3つの重要なハイパーパラメータに注目した。
FPGAベースのハードウェアプラットフォームにおいて,高速シグモイドサロゲート関数は,SVHNデータセットのアークタンジェントサロゲートと同等の精度で発火速度を低下させることを示した。
さらに、ベータと膜しきい値のハイパーパラメータをクロススウィープすることで、デフォルト設定に比べて2.88%のトレードオフ精度でハードウェアベースの推論遅延を48%削減できる。
本研究は,より効率的なSNNハードウェアアクセラレータの設計に不可欠な微調整モデルハイパーパラメータの重要性を強調し,最近の研究と比較して1.72倍の加速効率(FPS/W)向上を実現した。
関連論文リスト
- ZOBNN: Zero-Overhead Dependable Design of Binary Neural Networks with Deliberately Quantized Parameters [0.0]
本稿では,低精度ニューラルネットワークの3番目の利点として,耐故障性の改善について紹介する。
本稿では,メモリ障害がBNN(State-of-the-art binary neural network)に与える影響を包括的解析により検討する。
本稿では,新しい均一量子化手法により,フロートパラメータの範囲を制限することにより,BNNの信頼性を向上させる手法を提案する。
論文 参考訳（メタデータ） (2024-07-06T05:31:11Z) - DelGrad: Exact gradients in spiking networks for learning transmission delays and weights [0.9411751957919126]
スパイキングニューラルネットワーク(SNN)は本質的には情報表現と処理のための信号のタイミングに依存している。
最近の研究は、これらの遅延とシナプス重みを学習する大きな利点を示している。
イベントベース方式で, シナプス重みと遅延の両方に関して, 正確な損失勾配を計算するための解析的アプローチを提案する。
論文 参考訳（メタデータ） (2024-04-30T00:02:34Z) - Improving Realistic Worst-Case Performance of NVCiM DNN Accelerators
through Training with Right-Censored Gaussian Noise [16.470952550714394]
我々は,CiM加速器上で実行されているDNNモデルの現実的な最悪の性能を,k-th- percentile Performance (KPP) を用いて捉えることを提案する。
本手法は, デバイス変動の影響下でのロバスト性向上のための最先端手法と比較して, KPPの最大26%の改善を実現している。
論文 参考訳（メタデータ） (2023-07-29T01:06:37Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-08T05:44:06Z) - The Hardware Impact of Quantization and Pruning for Weights in Spiking
Neural Networks [0.368986335765876]
パラメータの量子化とプルーニングは、モデルサイズを圧縮し、メモリフットプリントを削減し、低レイテンシ実行を容易にする。
本研究では,身近な身近なジェスチャー認識システムであるSNNに対して,孤立度,累積的に,そして同時にプルーニングと量子化の様々な組み合わせについて検討する。
本研究では,3次重みまで精度の低下に悩まされることなく,攻撃的パラメータ量子化に対処可能であることを示す。
論文 参考訳（メタデータ） (2023-02-08T16:25:20Z) - Hyper-Parameter Auto-Tuning for Sparse Bayesian Learning [72.83293818245978]
我々は、疎ベイズ学習におけるハイパーパラメータチューニングのためのニューラルネットワーク(NN)ベースのオートチューニングを設計し、学習する。
コンバージェンス率とリカバリ性能の大幅な向上が達成できることを示す。
論文 参考訳（メタデータ） (2022-11-09T12:34:59Z) - Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。
既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。
本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
論文 参考訳（メタデータ） (2022-11-01T14:38:18Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - Highly Efficient Salient Object Detection with 100K Parameters [137.74898755102387]
そこで我々は,段階内および複数ステージのマルチスケール機能を効率的に活用するために,フレキシブルな畳み込みモジュールであるOctoConv(gOctConv)を提案する。
我々は、非常に軽量なモデル、すなわちCSNetを構築し、一般的なオブジェクト検出ベンチマークで、約0.2%(100k)の大規模モデルで同等のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-03-12T07:00:46Z) - Toward fast and accurate human pose estimation via soft-gated skip
connections [97.06882200076096]
本稿では,高精度かつ高効率な人間のポーズ推定について述べる。
我々は、最先端技術よりも精度と効率を両立させる文脈において、この設計選択を再分析する。
本モデルでは,MPII と LSP のデータセットから最先端の結果が得られる。
論文 参考訳（メタデータ） (2020-02-25T18:51:51Z) - A Spike in Performance: Training Hybrid-Spiking Neural Networks with
Quantized Activation Functions [6.574517227976925]
Spiking Neural Network(SNN)は、エネルギー効率の高いコンピューティングに対する有望なアプローチである。
我々は、非スパイキングネットワークをSNNに変換する際に、最先端の精度を維持する方法を示す。
論文 参考訳（メタデータ） (2020-02-10T05:24:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。