論文の概要: Spiking Synaptic Penalty: Appropriate Penalty Term for Energy-Efficient Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2302.01500v1
• Date: Fri, 3 Feb 2023 02:30:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-06 17:38:46.852103
• Title: Spiking Synaptic Penalty: Appropriate Penalty Term for Energy-Efficient Spiking Neural Networks
• Title（参考訳）: スパイクシナプスの罰則:エネルギー効率の良いスパイクニューラルネットワークの適切な罰則
• Authors: Kazuma Suetake, Takuya Ushimaru, Ryuji Saiin, Yoshihide Sawada
• Abstract要約: スパイクニューラルネットワーク(スパイクニューラルネットワーク、英: Spiking Neural Network、SNN)は、スパイクの性質からエネルギー効率の高いニューラルネットワークである。 ここでは, トレーニング段階における目的関数にスパイク活動の新たなペナルティ項を導入することで, この問題に対処する。 本手法は,ネットワークアーキテクチャを変更することなく,エネルギー消費の指標を直接最適化するように設計されている。
• 参考スコア（独自算出の注目度）: 0.40145248246551063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neural networks (SNNs) are energy-efficient neural networks because of their spiking nature. However, as the spike firing rate of SNNs increases, the energy consumption does as well, and thus, the advantage of SNNs diminishes. Here, we tackle this problem by introducing a novel penalty term for the spiking activity into the objective function in the training phase. Our method is designed so as to optimize the energy consumption metric directly without modifying the network architecture. Therefore, the proposed method can reduce the energy consumption more than other methods while maintaining the accuracy. We conducted experiments for image classification tasks, and the results indicate the effectiveness of the proposed method, which mitigates the dilemma of the energy--accuracy trade-off.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、スパイキングの性質からエネルギー効率の高いニューラルネットワークである。 しかし、SNNのスパイク発火率が増加するにつれて、エネルギー消費も増加し、SNNの優位性が低下する。 ここでは, トレーニング段階における目的関数にスパイク活動の新たなペナルティ項を導入することで, この問題に対処する。 本手法は,ネットワークアーキテクチャを変更せずに直接エネルギー消費メトリックを最適化するように設計されている。 そのため,提案手法は精度を維持しつつ,他の方法よりもエネルギー消費量を削減できる。 画像分類タスクについて実験を行い,提案手法の有効性を示し,エネルギー効率のトレードオフのジレンマを軽減した。

関連論文リスト

• Multi-Bit Mechanism: A Novel Information Transmission Paradigm for Spiking Neural Networks [4.552065156611815]
  スパイクニューラルネットワーク(SNN)は、高性能、低消費電力、生物学的解釈性の向上に対して認識される。 現在、スパイクのバイナリの性質はSNNにかなりの情報損失をもたらし、最終的にパフォーマンスが低下している。 本研究では,SNNのためのマルチビット情報伝送機構を提案する。
  論文  参考訳（メタデータ） (2024-07-08T08:46:31Z)
• On Reducing Activity with Distillation and Regularization for Energy Efficient Spiking Neural Networks [0.19999259391104385]
  スパイクニューラルネットワーク(SNN)への関心は着実に増加しており、フォーマルニューラルネットワーク(FNN)に代わるエネルギー効率の高い代替品として期待されている。 本稿では,SNN訓練における知識蒸留(KD)を活用して,性能とスパイク活動のトレードオフを最適化することを提案する。
  論文  参考訳（メタデータ） (2024-06-26T13:51:57Z)
• Energy-efficient Spiking Neural Network Equalization for IM/DD Systems with Optimized Neural Encoding [53.909333359654276]
  スパイクニューラルネットワークに基づくIM/DDシステムのエネルギー効率の等化器を提案する。 エネルギー消費を低減しつつ、等化器の性能を高めるニューラルスパイク符号化を最適化する。
  論文  参考訳（メタデータ） (2023-12-20T10:45:24Z)
• Adaptive Calibration: A Unified Conversion Framework of Spiking Neural Networks [1.632439547798896]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わる有望なエネルギー効率の代替として登場した。 本稿では,SNN変換フレームワークの確立により,SNNの性能向上と効率向上という2つの目的に対処することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-11-24T03:43:59Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Fast Exploration of the Impact of Precision Reduction on Spiking Neural Networks [63.614519238823206]
  ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。 我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
  論文  参考訳（メタデータ） (2022-11-22T15:08:05Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Optimizing the Consumption of Spiking Neural Networks with Activity Regularization [15.317534913990633]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、二元活性化を用いてエネルギーを節約し、スパイクしないときにエネルギーを消費しないバイオインスパイアされた技術の例である。 本研究では、ニューラルネットワークの活性化マップに疎結合を強制するための異なる手法を検討し、最適化されたDNNとSNNの効率に対する異なるトレーニング正規化器の効果を比較する。
  論文  参考訳（メタデータ） (2022-04-04T13:19:47Z)
• SpikeDyn: A Framework for Energy-Efficient Spiking Neural Networks with Continual and Unsupervised Learning Capabilities in Dynamic Environments [14.727296040550392]
  スパイキングニューラルネットワーク(SNN)は、生物学的妥当性のため、効率的な教師なしおよび継続的な学習能力の可能性を秘めている。 動的環境下での継続学習と教師なし学習機能を備えたエネルギー効率の高いSNNのためのフレームワークであるSpikeDynを提案する。
  論文  参考訳（メタデータ） (2021-02-28T08:26:23Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。