Fugu-MT 論文翻訳(概要): Fine-Tuning Surrogate Gradient Learning for Optimal Hardware Performance in Spiking Neural Networks

論文の概要: Fine-Tuning Surrogate Gradient Learning for Optimal Hardware Performance in Spiking Neural Networks

arxiv url: http://arxiv.org/abs/2402.06211v1
Date: Fri, 9 Feb 2024 06:38:12 GMT
ステータス: 処理完了
システム内更新日: 2024-02-12 17:54:44.241251
Title: Fine-Tuning Surrogate Gradient Learning for Optimal Hardware Performance in Spiking Neural Networks
Title（参考訳）: スパイクニューラルネットワークにおける最適ハードウェア性能のための微調整サロゲート勾配学習
Authors: Ilkin Aliyev and Tosiron Adegbija
Abstract要約: スパイキングニューラルネットワーク(SNN)は、ハードウェアで慎重に活用することで、膨大なエネルギー効率の恩恵をもたらすことができる。この研究は、トレーニングがハードウェアのパフォーマンスに与える影響に関する新たな洞察を明らかにします。
参考スコア（独自算出の注目度）: 1.52292571922932
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The highly sparse activations in Spiking Neural Networks (SNNs) can provide tremendous energy efficiency benefits when carefully exploited in hardware. The behavior of sparsity in SNNs is uniquely shaped by the dataset and training hyperparameters. This work reveals novel insights into the impacts of training on hardware performance. Specifically, we explore the trade-offs between model accuracy and hardware efficiency. We focus on three key hyperparameters: surrogate gradient functions, beta, and membrane threshold. Results on an FPGA-based hardware platform show that the fast sigmoid surrogate function yields a lower firing rate with similar accuracy compared to the arctangent surrogate on the SVHN dataset. Furthermore, by cross-sweeping the beta and membrane threshold hyperparameters, we can achieve a 48% reduction in hardware-based inference latency with only 2.88% trade-off in inference accuracy compared to the default setting. Overall, this study highlights the importance of fine-tuning model hyperparameters as crucial for designing efficient SNN hardware accelerators, evidenced by the fine-tuned model achieving a 1.72x improvement in accelerator efficiency (FPS/W) compared to the most recent work.
Abstract（参考訳）: Spiking Neural Networks(SNN)の高度にスパースなアクティベーションは、ハードウェアで慎重に活用した場合、膨大なエネルギー効率の恩恵をもたらす。 SNNにおけるスパーシティの挙動は、データセットとハイパーパラメータのトレーニングによって一意に形作られています。この研究は、ハードウェアのパフォーマンスに対するトレーニングの影響に関する新しい洞察を示しています。具体的には,モデル精度とハードウェア効率のトレードオフについて検討する。我々は,サブロゲート勾配関数,ベータ,膜閾値という3つの重要なハイパーパラメータに注目した。 FPGAベースのハードウェアプラットフォームにおいて,高速シグモイドサロゲート関数は,SVHNデータセットのアークタンジェントサロゲートと同等の精度で発火速度を低下させることを示した。さらに、ベータと膜しきい値のハイパーパラメータをクロススウィープすることで、デフォルト設定に比べて2.88%のトレードオフ精度でハードウェアベースの推論遅延を48%削減できる。本研究は,より効率的なSNNハードウェアアクセラレータの設計に不可欠な微調整モデルハイパーパラメータの重要性を強調し,最近の研究と比較して1.72倍の加速効率(FPS/W)向上を実現した。

関連論文リスト

Inference-to-complete: A High-performance and Programmable Data-plane Co-processor for Neural-network-driven Traffic Analysis [18.75879653408466]
NN駆動型インテリジェントデータプレーン(NN駆動型IDP)は,精度と高性能のために,新たな話題になりつつある。 Kaleidoscopeは、データプレーンのバイパスに位置するフレキシブルで高性能なコプロセッサである。 Kaleidoscopeは256-352 nsの推論遅延と100Gbpsのスループットに到達し、データプレーンへの影響は無視できる。
論文参考訳（メタデータ） (2024-11-01T07:10:08Z)
Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-29T19:02:54Z)
Efficient Hyperparameter Importance Assessment for CNNs [1.7778609937758323]
本稿では,畳み込みニューラルネットワーク(CNN)におけるハイパーパラメータの重み付けを,N-RReliefFというアルゴリズムを用いて定量化する。我々は10の人気のある画像分類データセットから1万以上のCNNモデルをトレーニングし、広範囲にわたる研究を行う。
論文参考訳（メタデータ） (2024-10-11T15:47:46Z)
Hardware-Software Co-optimised Fast and Accurate Deep Reconfigurable Spiking Inference Accelerator Architecture Design Methodology [2.968768532937366]
Spiking Neural Networks(SNN)は、機械学習モデルのエネルギー効率を改善するための有望なアプローチとして登場した。我々は,ソフトウェア学習深層ニューラルネットワーク(DNN)を高精度スパイキングモデルに移植するハードウェア・ソフトウェア共同最適化戦略を開発した。
論文参考訳（メタデータ） (2024-10-07T05:04:13Z)
ZOBNN: Zero-Overhead Dependable Design of Binary Neural Networks with Deliberately Quantized Parameters [0.0]
本稿では,低精度ニューラルネットワークの3番目の利点として,耐故障性の改善について紹介する。本稿では,メモリ障害がBNN(State-of-the-art binary neural network)に与える影響を包括的解析により検討する。本稿では,新しい均一量子化手法により,フロートパラメータの範囲を制限することにより,BNNの信頼性を向上させる手法を提案する。
論文参考訳（メタデータ） (2024-07-06T05:31:11Z)
Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-06-08T05:44:06Z)
The Hardware Impact of Quantization and Pruning for Weights in Spiking Neural Networks [0.368986335765876]
パラメータの量子化とプルーニングは、モデルサイズを圧縮し、メモリフットプリントを削減し、低レイテンシ実行を容易にする。本研究では,身近な身近なジェスチャー認識システムであるSNNに対して,孤立度,累積的に,そして同時にプルーニングと量子化の様々な組み合わせについて検討する。本研究では,3次重みまで精度の低下に悩まされることなく,攻撃的パラメータ量子化に対処可能であることを示す。
論文参考訳（メタデータ） (2023-02-08T16:25:20Z)
Hyper-Parameter Auto-Tuning for Sparse Bayesian Learning [72.83293818245978]
我々は、疎ベイズ学習におけるハイパーパラメータチューニングのためのニューラルネットワーク(NN)ベースのオートチューニングを設計し、学習する。コンバージェンス率とリカバリ性能の大幅な向上が達成できることを示す。
論文参考訳（メタデータ） (2022-11-09T12:34:59Z)
Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
論文参考訳（メタデータ） (2022-11-01T14:38:18Z)
FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文参考訳（メタデータ） (2022-01-18T13:59:22Z)
Highly Efficient Salient Object Detection with 100K Parameters [137.74898755102387]
そこで我々は,段階内および複数ステージのマルチスケール機能を効率的に活用するために,フレキシブルな畳み込みモジュールであるOctoConv(gOctConv)を提案する。我々は、非常に軽量なモデル、すなわちCSNetを構築し、一般的なオブジェクト検出ベンチマークで、約0.2%(100k)の大規模モデルで同等のパフォーマンスを達成する。
論文参考訳（メタデータ） (2020-03-12T07:00:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。