論文の概要: Even Faster SNN Simulation with Lazy+Event-driven Plasticity and Shared Atomics

• arxiv url: http://arxiv.org/abs/2107.04092v1
• Date: Thu, 8 Jul 2021 20:13:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-12 13:52:36.536824
• Title: Even Faster SNN Simulation with Lazy+Event-driven Plasticity and Shared Atomics
• Title（参考訳）: Lazy+Event駆動塑性と共有原子を用いたSNNシミュレーションの高速化
• Authors: Dennis Bautembach, Iason Oikonomidis, Antonis Argyros
• Abstract要約: クロックベーススパイキングニューラルネットワーク(SNN)シミュレータを高速化する2つの新しい最適化手法を提案する。 第一に、スパイクタイミング依存塑性(STDP)を目標とし、シナプス前スパイクと後スパイクの計算を効率的に行う。 第2の最適化はスパイク配信を目標としています。グラフ表現を、いつでも更新する必要があるニューロンの数で分割します。
• 参考スコア（独自算出の注目度）: 0.8360870648463651
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present two novel optimizations that accelerate clock-based spiking neural network (SNN) simulators. The first one targets spike timing dependent plasticity (STDP). It combines lazy- with event-driven plasticity and efficiently facilitates the computation of pre- and post-synaptic spikes using bitfields and integer intrinsics. It offers higher bandwidth than event-driven plasticity alone and achieves a 1.5x-2x speedup over our closest competitor. The second optimization targets spike delivery. We partition our graph representation in a way that bounds the number of neurons that need be updated at any given time which allows us to perform said update in shared memory instead of global memory. This is 2x-2.5x faster than our closest competitor. Both optimizations represent the final evolutionary stages of years of iteration on STDP and spike delivery inside "Spice" (/spaIk/), our state of the art SNN simulator. The proposed optimizations are not exclusive to our graph representation or pipeline but are applicable to a multitude of simulator designs. We evaluate our performance on three well-established models and compare ourselves against three other state of the art simulators.
• Abstract（参考訳）: クロックベーススパイキングニューラルネットワーク(SNN)シミュレータを高速化する2つの新しい最適化を提案する。 最初のターゲットはスパイクタイミング依存塑性(STDP)である。 遅延とイベント駆動の可塑性を組み合わせることで、ビットフィールドと整数固有関数を使って、前および後シナプススパイクの計算を効率的に行うことができる。 イベント駆動のプラスティック性よりも高い帯域幅を提供し、最も近い競合相手よりも1.5x-2倍のスピードアップを実現しています。 第2の最適化はスパイクデリバリを目標とする。 グラフ表現は、グローバルメモリの代わりに共有メモリでその更新を実行することができるように、いつでも更新が必要なニューロンの数を制限する方法で分割します。 これは我々の最も近いライバルより2倍-2.5倍速い。 どちらの最適化も、STDPの長年の反復と、アートSNNシミュレータの状態である"Spice"(/spaIk/)内のスパイク配信の最終的な進化段階を表している。 提案する最適化は、グラフ表現やパイプラインに限らず、多数のシミュレータ設計に適用できる。 3つの確立されたモデル上での性能を評価し、他の3つのアートシミュレータと比較した。

関連論文リスト

• Fast Algorithms for Spiking Neural Network Simulation with FPGAs [0.0]
  我々は、ハイエンドフィールドプログラマブルゲートアレイ(FPGA)のためのPotjans-Diesmann大脳皮質微小回路のためのスパイキングニューラルネットワークシミュレータ(SNN)を作成する。 我々の最高のシミュレーターは、回路をリアルタイムよりも25%高速にシミュレートし、シナプスイベントあたり21nJ未満が必要であり、オンチップメモリによってボトルネックされる。 この結果は、単一のハードウェアアクセラレータ上で回路をシミュレートする最初のものである。
  論文  参考訳（メタデータ） (2024-05-03T11:39:25Z)
• MicroDreamer: Efficient 3D Generation in $\sim$20 Seconds by Score-based Iterative Reconstruction [37.07128043394227]
  本稿では,NFEの削減のために,異なる3次元再構成過程を模倣した効率的かつ汎用的なアルゴリズムであるスコアベース反復再構成(SIR)を提案する。 我々は,様々な3次元表現や3次元生成タスクに適用可能な,MicroDreamerと呼ばれる効率的な手法を提案する。
  論文  参考訳（メタデータ） (2024-04-30T12:56:14Z)
• 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
  ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。 この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。 本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
  論文  参考訳（メタデータ） (2021-10-06T15:43:20Z)
• Early Convolutions Help Transformers See Better [63.21712652156238]
  視覚変換器(ViT)モデルは準標準最適化性を示す。 現代の畳み込みニューラルネットワークは、最適化がはるかに容易である。 畳み込みステムをViTで使用すると、最適化の安定性が劇的に向上し、ピーク性能も向上する。
  論文  参考訳（メタデータ） (2021-06-28T17:59:33Z)
• Multi-GPU SNN Simulation with Perfect Static Load Balancing [0.8360870648463651]
  我々は,数百万のニューロン,数十億のシナプス,8つのGPUにスケールするSNNシミュレータを提案する。 これは,1) キャッシュ対応スパイク伝送アルゴリズム,2) モデル並列マルチGPU分散方式,3) 静的かつ非常に効果的なロードバランシング戦略によって実現された。
  論文  参考訳（メタデータ） (2021-02-09T07:07:34Z)
• Towards Fast, Accurate and Stable 3D Dense Face Alignment [73.01620081047336]
  本稿では,速度,精度,安定性のバランスをとる3DDFA-V2という新しい回帰フレームワークを提案する。 本研究では,静止画を平面内と面外の動きを取り入れた映像に変換する仮想合成法を提案する。
  論文  参考訳（メタデータ） (2020-09-21T15:37:37Z)
• FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
  Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。 そこで本研究では、3次内積の計算複雑性を2。 性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
  論文  参考訳（メタデータ） (2020-08-12T04:26:18Z)
• TASO: Time and Space Optimization for Memory-Constrained DNN Inference [5.023660118588569]
  畳み込みニューラルネットワーク(CNN)は、産業用ロボティクスや自動化システムからモバイルデバイスでの生体認証まで、多くの組み込みアプリケーションで使用されている。 本稿では、畳み込み層を実装するプリミティブ演算を選択するための整数線形計画法(ILP)に基づくCNNモデルの事前ドメイン固有最適化手法を提案する。
  論文  参考訳（メタデータ） (2020-05-21T15:08:06Z)
• Steepest Descent Neural Architecture Optimization: Escaping Local Optimum with Signed Neural Splitting [60.97465664419395]
  我々は、局所最適性問題に対処する分割降下フレームワークの顕著で驚くべき拡張を開発する。 分割時の正と負の両方の重みを単純に許すことで、S2Dにおける分裂安定性の出現を排除できる。 我々は,CIFAR-100, ImageNet, ModelNet40 といった,S2D などの先進的なニューラルネットワークの精度とエネルギー効率の学習方法よりも優れている,様々な挑戦的なベンチマーク上で,本手法を検証する。
  論文  参考訳（メタデータ） (2020-03-23T17:09:27Z)
• Event-Based Angular Velocity Regression with Spiking Networks [51.145071093099396]
  スパイキングニューラルネットワーク(SNN)は、数値ではなく時間スパイクとして伝達される情報を処理する。 本稿では,イベントカメラから与えられた事象の時間回帰問題を初めて提案する。 角速度回帰を行うためにSNNをうまく訓練できることが示される。
  論文  参考訳（メタデータ） (2020-03-05T17:37:16Z)
• FastWave: Accelerating Autoregressive Convolutional Neural Networks on FPGA [27.50143717931293]
  WaveNetは、拡張畳み込みの複数のレイヤで構成された、深く自己回帰的なCNNである。 我々は,自己回帰畳み込みニューラルネットワークのための最初のアクセラレータtextitFastWaveを開発した。
  論文  参考訳（メタデータ） (2020-02-09T06:15:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。