論文の概要: Connection Pruning for Deep Spiking Neural Networks with On-Chip Learning

• arxiv url: http://arxiv.org/abs/2010.04351v3
• Date: Sat, 31 Jul 2021 17:29:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 04:12:54.902358
• Title: Connection Pruning for Deep Spiking Neural Networks with On-Chip Learning
• Title（参考訳）: オンチップ学習によるディープスパイクニューラルネットワークの接続プルーニング
• Authors: Thao N.N. Nguyen, Bharadwaj Veeravalli, Xuanyao Fong
• Abstract要約: 長いトレーニング時間は、チップ上の学習能力を備えた、大規模で大規模なスパイクニューラルネットワーク(SNN)の可能性を妨げる。 本稿では, オンチップスパイクタイミング依存塑性(STDP)学習において適用可能な新しい接続切断手法を提案する。
• 参考スコア（独自算出の注目度）: 6.312089019297173
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long training time hinders the potential of the deep, large-scale Spiking Neural Network (SNN) with the on-chip learning capability to be realized on the embedded systems hardware. Our work proposes a novel connection pruning approach that can be applied during the on-chip Spike Timing Dependent Plasticity (STDP)-based learning to optimize the learning time and the network connectivity of the deep SNN. We applied our approach to a deep SNN with the Time To First Spike (TTFS) coding and has successfully achieved 2.1x speed-up and 64% energy savings in the on-chip learning and reduced the network connectivity by 92.83%, without incurring any accuracy loss. Moreover, the connectivity reduction results in 2.83x speed-up and 78.24% energy savings in the inference. Evaluation of our proposed approach on the Field Programmable Gate Array (FPGA) platform revealed 0.56% power overhead was needed to implement the pruning algorithm.
• Abstract（参考訳）: 長いトレーニング時間は、組み込みシステムハードウェア上で実現可能なオンチップ学習能力を備えた、深層で大規模スパイクニューラルネットワーク(snn)の可能性を妨げる。 本研究は,深部SNNの学習時間とネットワーク接続性を最適化するために,オンチップスパイクタイミング依存塑性(STDP)に基づく学習において適用可能な,新しい接続切断手法を提案する。 提案手法をTime To First Spike (TTFS) 符号化による深層SNNに適用し,オンチップ学習における2.1倍の高速化と64%の省エネを実現し,ネットワーク接続性を92.83%削減した。 さらに、接続性の低下は2.83倍のスピードアップと78.24%の省エネをもたらす。 提案手法をFPGA(Field Programmable Gate Array)プラットフォーム上で評価した結果,プルーニングアルゴリズムの実装には0.56%の電力オーバーヘッドが必要であった。

関連論文リスト

• The Robustness of Spiking Neural Networks in Communication and its Application towards Network Efficiency in Federated Learning [6.9569682335746235]
  スパイキングニューラルネットワーク(SNN)は最近、組み込みデバイスでのオンチップ学習に多大な関心を集めている。 本稿では,フェデレートラーニングにおける雑音の多いコミュニケーション下でのSNNの本質的ロバスト性について検討する。 FLトレーニングにおける帯域幅の削減を目的とした,TopKスパシフィケーションを用いた新しいフェデレートラーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-19T13:37:18Z)
• LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
  スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。 本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T05:23:11Z)
• Reconfigurable Distributed FPGA Cluster Design for Deep Learning Accelerators [59.11160990637615]
  エッジコンピューティングアプリケーション用に設計された低消費電力組み込みFPGAに基づく分散システムを提案する。 提案システムは,様々なニューラルネットワーク(NN)モデルを同時に実行し,パイプライン構造にグラフを配置し,NNグラフの最も計算集約的な層により大きなリソースを手動で割り当てる。
  論文  参考訳（メタデータ） (2023-05-24T16:08:55Z)
• Exploiting Sparsity in Pruned Neural Networks to Optimize Large Model Training [1.5301777464637454]
  並列深層学習のための2つの一般的なアルゴリズムにおいて,スパースワークを利用してメモリ利用と通信を最適化する手法を提案する。 我々は、並列ディープラーニングのための高度にスケーラブルなフレームワークであるAxoNNにアプローチを統合し、通信時間とメモリ使用量の削減を実証する。
  論文  参考訳（メタデータ） (2023-02-10T04:22:25Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Ultra-low Latency Adaptive Local Binary Spiking Neural Network with Accuracy Loss Estimator [4.554628904670269]
  精度損失推定器を用いた超低レイテンシ適応型局所二元スパイクニューラルネットワーク(ALBSNN)を提案する。 実験の結果,ネットワークの精度を損なうことなく,ストレージ容量を20%以上削減できることがわかった。
  論文  参考訳（メタデータ） (2022-07-31T09:03:57Z)
• Learning to Estimate RIS-Aided mmWave Channels [50.15279409856091]
  そこでは,観測観測のために,既知の基地局とRIS位相制御行列を併用したアップリンクチャネル推定手法を提案する。 推定性能を向上し, トレーニングオーバーヘッドを低減するため, 深部展開法において, mmWaveチャネルの固有チャネル幅を生かした。 提案したディープ・アンフォールディング・ネットワーク・アーキテクチャは,トレーニングオーバーヘッドが比較的小さく,オンライン計算の複雑さも比較的小さく,最小二乗法(LS)法より優れていることが確認された。
  論文  参考訳（メタデータ） (2021-07-27T06:57:56Z)
• H2Learn: High-Efficiency Learning Accelerator for High-Accuracy Spiking Neural Networks [25.768116231283045]
  H2Learnは,BPTTに基づくSNN学習において,高い効率を実現する新しいアーキテクチャである。 最新のNVIDIA V100 GPUと比較して、H2Learnは7.38倍の領域節約、5.74-10.20倍のスピードアップ、5.25-7.12倍の省エネを実現している。
  論文  参考訳（メタデータ） (2021-07-25T07:37:17Z)
• A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
  勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。 我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-19T23:41:03Z)
• T2FSNN: Deep Spiking Neural Networks with Time-to-first-spike Coding [26.654533157221973]
  本稿では,カーネルベースの動的しきい値とデンドライトを用いて,深層SNNにタイム・ツー・ファースト・スパイク・コーディングを組み込むことによって,その欠点を克服する手法を提案する。 提案手法は,バースト符号化法と比較して,推定遅延とスパイク回数を22%,1%以下に削減できる。
  論文  参考訳（メタデータ） (2020-03-26T04:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。