論文の概要: EventQueues: Autodifferentiable spike event queues for brain simulation on AI accelerators
- arxiv url: http://arxiv.org/abs/2512.05906v1
- Date: Fri, 05 Dec 2025 17:39:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-13 22:40:57.116992
- Title: EventQueues: Autodifferentiable spike event queues for brain simulation on AI accelerators
- Title(参考訳): EventQueues: AIアクセラレータ上での脳シミュレーションのための自動微分可能なスパイクイベントキュー
- Authors: Lennart P. L. Landsmeer, Amirreza Movahedin, Said Hamdioui, Christos Strydis,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、計算神経科学とニューロモーフィック機械学習の中心である。
勾配ベースのSNNは通常、密度の高いメモリ重データ構造を使用してスパーススパイクイベントを実装する。
遅延を含むスパイクイベントキューを通じて勾配を導出し、メモリ効率の高い勾配対応イベントキュー構造を実装することで、この問題に対処する。
- 参考スコア(独自算出の注目度): 0.4349640169711269
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking neural networks (SNNs), central to computational neuroscience and neuromorphic machine learning (ML), require efficient simulation and gradient-based training. While AI accelerators offer promising speedups, gradient-based SNNs typically implement sparse spike events using dense, memory-heavy data-structures. Existing exact gradient methods lack generality, and current simulators often omit or inefficiently handle delayed spikes. We address this by deriving gradient computation through spike event queues, including delays, and implementing memory-efficient, gradient-enabled event queue structures. These are benchmarked across CPU, GPU, TPU, and LPU platforms. We find that queue design strongly shapes performance. CPUs, as expected, perform well with traditional tree-based or FIFO implementations, while GPUs excel with ring buffers for smaller simulations, yet under higher memory pressure prefer more sparse data-structures. TPUs seem to favor an implementation based on sorting intrinsics. Selective spike dropping provides a simple performance-accuracy trade-off, which could be enhanced by future autograd frameworks adapting diverging primal/tangent data-structures.
- Abstract(参考訳): 計算神経科学とニューロモーフィック機械学習(ML)の中心であるスパイキングニューラルネットワーク(SNN)は、効率的なシミュレーションと勾配に基づくトレーニングを必要とする。
AIアクセラレーターは有望なスピードアップを提供するが、勾配ベースのSNNは通常、密度の高いメモリ重いデータ構造を使用してスパーススパイクイベントを実行する。
既存の厳密な勾配法は一般性に欠けており、現在のシミュレータはしばしば遅延スパイクを省略または非効率に処理する。
遅延を含むスパイクイベントキューによる勾配計算の導出と,メモリ効率の高い勾配対応イベントキュー構造の実装により,この問題に対処する。
これらはCPU、GPU、TPU、LPUプラットフォーム間でベンチマークされる。
キューの設計がパフォーマンスを強く形作るのが分かります。
予想通り、CPUは従来のツリーベースやFIFOの実装とうまく機能する一方、GPUはより小さなシミュレーションのためにリングバッファを排他的に処理する。
TPUは本質的な分類に基づく実装を好んでいるようだ。
選択的なスパイクダウンは、単純なパフォーマンスのトレードオフを提供する。これは、プリミティブ/タンジェントなデータ構造を分散させる、将来のオートグレードフレームワークによって強化される可能性がある。
関連論文リスト
- Morphling: Fast, Fused, and Flexible GNN Training at Scale [0.3437656066916039]
このギャップを埋めるために設計されたドメイン固有のコードシンセサイザーであるMorphlingを紹介します。
Morphlingは、高レベルのGNNをOpenMP、MPI、MPI MPIをターゲットにしたポータブルな特殊なバックエンドにコンパイルする。
CPUでは平均20倍、GPUでは19倍、PyGとDGLでは分散設定では6倍、ピークスピードアップは66倍に向上した。
論文 参考訳(メタデータ) (2025-12-01T13:45:03Z) - Compression and Inference of Spiking Neural Networks on Resource-Constrained Hardware [0.2226043394835212]
スパイキングニューラルネットワーク(SNN)は、連続的なアクティベーションではなく、離散的なスパイクを介して時間内に通信する。
エッジデバイス上でのSNN推論のための軽量なC言語ランタイムを提案する。
我々は,無活動ニューロンやシナプスを刺激するスパーススパイク活性を利用して,上流の畳み込み層での計算を縮小する。
論文 参考訳(メタデータ) (2025-11-15T10:02:23Z) - Optimal Gradient Checkpointing for Sparse and Recurrent Architectures using Off-Chip Memory [0.8321953606016751]
本稿では,スパースRNNとスパイキングニューラルネットワークの一般クラスに適したメモリ効率の高い勾配チェックポイント戦略を提案する。
再計算のオーバーヘッドを最小限に抑えながら、ローカルメモリリソースの使用を最適化し、Double Checkpointingが最も効果的な方法であることが判明した。
論文 参考訳(メタデータ) (2024-12-16T14:23:31Z) - Exploring Tradeoffs in Spiking Neural Networks [0.0]
Spiking Neural Networks(SNN)は、低消費電力コンピューティングのための従来のDeep Neural Networksに代わる有望な代替品として登場した。
スパイク制約の緩和は、より高速な収束、類似の空間性、同等の予測遅延、TTFS SNNと比較してノイズに対するロバスト性の向上といったメリットを享受しつつ、より高いパフォーマンスを提供することを示す。
論文 参考訳(メタデータ) (2022-12-15T20:18:14Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural
Networks on Edge NPUs [74.83613252825754]
スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。
これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。
そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
論文 参考訳(メタデータ) (2022-09-27T15:04:01Z) - AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。
AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
論文 参考訳(メタデータ) (2022-03-31T16:21:12Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28~78%の高速化を実現している。
論文 参考訳(メタデータ) (2020-07-14T18:50:12Z) - One-step regression and classification with crosspoint resistive memory
arrays [62.997667081978825]
高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。
ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。
結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
論文 参考訳(メタデータ) (2020-05-05T08:00:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。