論文の概要: Spyx: A Library for Just-In-Time Compiled Optimization of Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2402.18994v1
• Date: Thu, 29 Feb 2024 09:46:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 15:22:35.950334
• Title: Spyx: A Library for Just-In-Time Compiled Optimization of Spiking Neural Networks
• Title（参考訳）: Spyx:スパイクニューラルネットワークのジャストインタイムコンパイル最適化ライブラリ
• Authors: Kade M. Heckel and Thomas Nowotny
• Abstract要約: Spiking Neural Networks(SNN)は、小さくて低消費電力なハードウェアフットプリントによるエネルギー効率の向上を提供する。 本稿では、JAXで設計された新しい軽量SNNシミュレーションおよび最適化ライブラリSpyxを紹介する。
• 参考スコア（独自算出の注目度）: 0.08965418284317034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As the role of artificial intelligence becomes increasingly pivotal in modern society, the efficient training and deployment of deep neural networks have emerged as critical areas of focus. Recent advancements in attention-based large neural architectures have spurred the development of AI accelerators, facilitating the training of extensive, multi-billion parameter models. Despite their effectiveness, these powerful networks often incur high execution costs in production environments. Neuromorphic computing, inspired by biological neural processes, offers a promising alternative. By utilizing temporally-sparse computations, Spiking Neural Networks (SNNs) offer to enhance energy efficiency through a reduced and low-power hardware footprint. However, the training of SNNs can be challenging due to their recurrent nature which cannot as easily leverage the massive parallelism of modern AI accelerators. To facilitate the investigation of SNN architectures and dynamics researchers have sought to bridge Python-based deep learning frameworks such as PyTorch or TensorFlow with custom-implemented compute kernels. This paper introduces Spyx, a new and lightweight SNN simulation and optimization library designed in JAX. By pre-staging data in the expansive vRAM of contemporary accelerators and employing extensive JIT compilation, Spyx allows for SNN optimization to be executed as a unified, low-level program on NVIDIA GPUs or Google TPUs. This approach achieves optimal hardware utilization, surpassing the performance of many existing SNN training frameworks while maintaining considerable flexibility.
• Abstract（参考訳）: 人工知能の役割が現代社会でますます重要になっていくにつれて、ディープニューラルネットワークの効率的な訓練と展開が重要な分野として浮上してきた。 注目に基づく大規模ニューラルネットワークアーキテクチャの最近の進歩は、AIアクセラレータの開発を加速させ、広範なマルチビリオンパラメータモデルのトレーニングを促進する。 その効果にもかかわらず、これらの強力なネットワークはプロダクション環境で高い実行コストを発生させる。 生物学的神経プロセスに触発されたニューロモルフィックコンピューティングは、有望な代替手段を提供する。 時間的スパース計算を利用することで、スパイキングニューラルネットワーク(snns)は、ハードウェアフットプリントの削減と低消費電力によるエネルギー効率の向上を提供する。 しかし、SNNのトレーニングは、現代のAIアクセラレーターの大規模な並列性を活用するのが簡単ではない、反復的な性質のため、難しい場合がある。 SNNアーキテクチャとダイナミックスの調査を容易にするため、研究者は、PyTorchやTensorFlowといったPythonベースのディープラーニングフレームワークを、カスタム実装の計算カーネルでブリッジしようと試みている。 本稿では、JAXで設計された新しい軽量SNNシミュレーションおよび最適化ライブラリSpyxを紹介する。 現代のアクセラレータのvRAMの拡張とJITコンパイルの広範な使用により、SpyxはSNN最適化をNVIDIA GPUやGoogle TPU上で統一された低レベルプログラムとして実行することができる。 このアプローチは最適なハードウェア利用を実現し、多くの既存のSNNトレーニングフレームワークのパフォーマンスを上回り、柔軟性を保っている。

関連論文リスト

• Towards Scalable GPU-Accelerated SNN Training via Temporal Fusion [8.995682796140429]
  スパイキングニューラルネットワーク(SNN)は、人工知能の変革的発展として出現する。 SNNは、特別なスパース計算ハードウェア上で有望な効率を示すが、その実践訓練は、しばしば従来のGPUに依存している。 本稿では,GPUプラットフォーム上でのSNNの伝搬ダイナミクスを高速化する新しい時間融合法を提案する。
  論文  参考訳（メタデータ） (2024-08-01T04:41:56Z)
• LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
  スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。 本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T05:23:11Z)
• SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
  スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。 我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
  論文  参考訳（メタデータ） (2023-10-25T13:15:17Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Energy-Efficient Deployment of Machine Learning Workloads on Neuromorphic Hardware [0.11744028458220425]
  ディープラーニングハードウェアアクセラレータがいくつかリリースされ、ディープニューラルネットワーク(DNN)が消費する電力と面積の削減に特化している。 個別の時系列データで動作するスパイクニューラルネットワーク(SNN)は、特殊なニューロモルフィックイベントベース/非同期ハードウェアにデプロイすると、大幅な電力削減を実現することが示されている。 本研究では,事前学習したDNNをSNNに変換するための一般的なガイドを提供するとともに,ニューロモルフィックハードウェア上でのSNNの展開を改善するためのテクニックも提示する。
  論文  参考訳（メタデータ） (2022-10-10T20:27:19Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• E3NE: An End-to-End Framework for Accelerating Spiking Neural Networks with Emerging Neural Encoding on FPGAs [6.047137174639418]
  エンドツーエンドフレームワークのE3NEはFPGAのための効率的なSNN推論ロジックを生成する。 E3NEはハードウェアリソースの50%未満を消費し、20%の電力を消費する一方で、レイテンシを桁違いに低減する。
  論文  参考訳（メタデータ） (2021-11-19T04:01:19Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。