論文の概要: Twin Network Augmentation: A Novel Training Strategy for Improved Spiking Neural Networks and Efficient Weight Quantization

• arxiv url: http://arxiv.org/abs/2409.15849v1
• Date: Tue, 24 Sep 2024 08:20:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 08:31:23.255127
• Title: Twin Network Augmentation: A Novel Training Strategy for Improved Spiking Neural Networks and Efficient Weight Quantization
• Title（参考訳）: Twin Network Augmentation: スパイキングニューラルネットワークの改善と効率的な重み量子化のための新しいトレーニング戦略
• Authors: Lucas Deckers, Benjamin Vandersmissen, Ing Jyh Tsang, Werner Van Leekwijck, Steven Latré,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、スパースでイベント駆動のスパイクを使用してニューロン間で情報を伝達する。 ニューラルネットワークのフットプリントを削減する別のテクニックとして、量子化がある。 本稿では,SNNの性能向上を目的とした新しいトレーニングフレームワークであるTwin Network Augmentation(TNA)を紹介する。
• 参考スコア（独自算出の注目度）: 1.2513527311793347
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The proliferation of Artificial Neural Networks (ANNs) has led to increased energy consumption, raising concerns about their sustainability. Spiking Neural Networks (SNNs), which are inspired by biological neural systems and operate using sparse, event-driven spikes to communicate information between neurons, offer a potential solution due to their lower energy requirements. An alternative technique for reducing a neural network's footprint is quantization, which compresses weight representations to decrease memory usage and energy consumption. In this study, we present Twin Network Augmentation (TNA), a novel training framework aimed at improving the performance of SNNs while also facilitating an enhanced compression through low-precision quantization of weights. TNA involves co-training an SNN with a twin network, optimizing both networks to minimize their cross-entropy losses and the mean squared error between their output logits. We demonstrate that TNA significantly enhances classification performance across various vision datasets and in addition is particularly effective when applied when reducing SNNs to ternary weight precision. Notably, during inference , only the ternary SNN is retained, significantly reducing the network in number of neurons, connectivity and weight size representation. Our results show that TNA outperforms traditional knowledge distillation methods and achieves state-of-the-art performance for the evaluated network architecture on benchmark datasets, including CIFAR-10, CIFAR-100, and CIFAR-10-DVS. This paper underscores the effectiveness of TNA in bridging the performance gap between SNNs and ANNs and suggests further exploration into the application of TNA in different network architectures and datasets.
• Abstract（参考訳）: ニューラルネットワーク(ANN)の普及によりエネルギー消費が増加し、持続可能性への懸念が高まっている。 生体神経システムにインスパイアされたスパイキングニューラルネットワーク(SNN)は、スパースでイベント駆動のスパイクを使用してニューロン間で情報を伝達する。 ニューラルネットワークのフットプリントを削減する別のテクニックは量子化であり、メモリ使用量とエネルギー消費を減らすために重み表現を圧縮する。 本研究では,SNNの性能向上を目的とした新しいトレーニングフレームワークであるTwin Network Augmentation(TNA)を提案する。 TNAは、SNNとツインネットワークを併用し、両ネットワークを最適化して、クロスエントロピー損失と出力ロジット間の平均2乗誤差を最小化する。 我々は,TNAが様々な視覚データセットの分類性能を著しく向上し,SNNを3次重み精度に還元する場合にも特に有効であることを示した。 特に、推論中は、三次SNNのみが保持され、ニューロンの数、接続性、および重みサイズ表現のネットワークが著しく減少する。 CIFAR-10, CIFAR-100, CIFAR-10-DVS, CIFAR-10-DVS, CIFAR-10-DVS, CIFAR-10, CIFAR-10-DVS, CIFAR-10-DVS, CIFAR-10, CIFAR-10-DVS, CIFAR-10-DVS, CIFAR-10, CIFAR-10-DVS, CIFAR-10-DVS, CIFAR-10, CIFAR-10-DVS, CIFAR-10, CIFAR-10-DVS, CIFAR-DVS, CIFAR-10-DVS, CIFAR-D-DVS, CIFAR-D-DVS, CIFAR-D, , CIF-D-DVS, C 本稿では、SNNとANNのパフォーマンスギャップを埋めることにおけるTNAの有効性を強調し、異なるネットワークアーキテクチャやデータセットにおけるTNAの適用についてさらに検討することを提案する。

関連論文リスト

• On Reducing Activity with Distillation and Regularization for Energy Efficient Spiking Neural Networks [0.19999259391104385]
  スパイクニューラルネットワーク(SNN)への関心は着実に増加しており、フォーマルニューラルネットワーク(FNN)に代わるエネルギー効率の高い代替品として期待されている。 本稿では,SNN訓練における知識蒸留(KD)を活用して,性能とスパイク活動のトレードオフを最適化することを提案する。
  論文  参考訳（メタデータ） (2024-06-26T13:51:57Z)
• LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
  スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。 本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T05:23:11Z)
• LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
  我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。 この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
  論文  参考訳（メタデータ） (2023-10-23T14:26:16Z)
• Skip Connections in Spiking Neural Networks: An Analysis of Their Effect on Network Training [0.8602553195689513]
  従来の人工ニューラルネットワーク(ANN)の代替として、スパイキングニューラルネットワーク(SNN)が注目を集めている。 本稿では,SNNにおけるスキップ接続の影響について検討し,ANNからSNNへのモデル適応を行うハイパーパラメータ最適化手法を提案する。 本研究では,SNNの位置,タイプ,回数を最適化することで,SNNの精度と効率を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-03-23T07:57:32Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
  スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。 ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。 本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
  論文  参考訳（メタデータ） (2021-05-11T10:05:53Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)
• Distilling Spikes: Knowledge Distillation in Spiking Neural Networks [22.331135708302586]
  Spiking Neural Networks (SNN) は、情報処理のためにスパイクを交換するエネルギー効率の高いコンピューティングアーキテクチャである。 画像分類のためのスパイクニューラルネットワークにおける知識蒸留手法を提案する。 我々のアプローチは、リソース制約のあるハードウェアプラットフォーム上で、高性能な大規模SNNモデルをデプロイするための新たな道を開くことが期待されている。
  論文  参考訳（メタデータ） (2020-05-01T09:36:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。