論文の概要: Differential Coding for Training-Free ANN-to-SNN Conversion

• arxiv url: http://arxiv.org/abs/2503.00301v1
• Date: Sat, 01 Mar 2025 02:17:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:19:19.777892
• Title: Differential Coding for Training-Free ANN-to-SNN Conversion
• Title（参考訳）: 学習自由ANN-SNN変換のための微分符号化
• Authors: Zihan Huang, Wei Fang, Tong Bu, Peng Xue, Zecheng Hao, Wenxuan Liu, Yuanhong Tang, Zhaofei Yu, Tiejun Huang,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、その低エネルギー消費のために大きな可能性を秘めている。 ニューラルネットワーク(ANN)をSNNに変換することは、高性能なSNNを実現するための効率的な方法である。 本稿では, ANN-to-SNN変換の差分符号化について紹介する。
• 参考スコア（独自算出の注目度）: 45.70141988713627
• License:
• Abstract: Spiking Neural Networks (SNNs) exhibit significant potential due to their low energy consumption. Converting Artificial Neural Networks (ANNs) to SNNs is an efficient way to achieve high-performance SNNs. However, many conversion methods are based on rate coding, which requires numerous spikes and longer time-steps compared to directly trained SNNs, leading to increased energy consumption and latency. This article introduces differential coding for ANN-to-SNN conversion, a novel coding scheme that reduces spike counts and energy consumption by transmitting changes in rate information rather than rates directly, and explores its application across various layers. Additionally, the threshold iteration method is proposed to optimize thresholds based on activation distribution when converting Rectified Linear Units (ReLUs) to spiking neurons. Experimental results on various Convolutional Neural Networks (CNNs) and Transformers demonstrate that the proposed differential coding significantly improves accuracy while reducing energy consumption, particularly when combined with the threshold iteration method, achieving state-of-the-art performance.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、その低エネルギー消費のために大きな可能性を秘めている。 ニューラルネットワーク(ANN)をSNNに変換することは、高性能なSNNを実現するための効率的な方法である。 しかし、多くの変換手法はレート符号化に基づいており、直接訓練されたSNNに比べて多くのスパイクと長い時間を要するため、エネルギー消費と遅延が増大する。 本稿では、ANN-to-SNN変換の差分符号化について紹介する。これは、直接レートではなくレート情報の変化を伝達することで、スパイク数とエネルギー消費を減らす新しい符号化方式であり、様々な層にわたってその応用を探求する。 さらに、Rectified Linear Units (ReLU) をスパイキングニューロンに変換する際の活性化分布に基づいて閾値を最適化する閾値反復法を提案する。 様々な畳み込みニューラルネットワーク(CNN)とトランスフォーマーの実験結果から、提案した差分符号化は、特に閾値反復法と組み合わせた場合のエネルギー消費を低減しつつ、精度を大幅に向上することを示した。

関連論文リスト

• Adaptive Calibration: A Unified Conversion Framework of Spiking Neural Network [1.5215973379400674]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)の代替としてエネルギー効率が高いと見なされる 変換されたSNNの性能と効率を大幅に向上させる一貫した学習自由変換フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T09:38:54Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Training-free Conversion of Pretrained ANNs to SNNs for Low-Power and High-Performance Applications [23.502136316777058]
  人工ニューラルネットワーク(ANN)の代替としてスパイキングニューラルネットワーク(SNN)が登場した SNNの既存の教師付き学習アルゴリズムは、ANNのアルゴリズムよりもはるかに多くのメモリと時間を必要とする。 提案手法は,事前学習したANNモデルを,追加訓練を伴わずに,高性能なSNNに変換する。
  論文  参考訳（メタデータ） (2024-09-05T09:14:44Z)
• One-Spike SNN: Single-Spike Phase Coding with Base Manipulation for ANN-to-SNN Conversion Loss Minimization [0.41436032949434404]
  スパイクニューラルネットワーク(SNN)はイベント駆動であるため、エネルギー効率は従来の人工ニューラルネットワーク(ANN)よりも高い。 本研究では,SNN層間でデータを転送するスパイク数を最小限に抑える符号化方式として,単一スパイク位相符号化を提案する。 ANNに対する追加のトレーニングやアーキテクチャ上の制約がなければ、提案手法はCIFARとImageNetデータセットによる3つの畳み込みニューラルネットワーク(CNN)上で検証された推論精度(平均0.58%)を失うことはない。
  論文  参考訳（メタデータ） (2024-01-30T02:00:28Z)
• When Bio-Inspired Computing meets Deep Learning: Low-Latency, Accurate, & Energy-Efficient Spiking Neural Networks from Artificial Neural Networks [22.721987637571306]
  Spiking Neural Networks (SNN) は畳み込みニューラルネットワーク (CNN) に匹敵する精度を示している ANN-to-SNN変換は、最近、複雑な画像認識タスクにおける最先端(SOTA)テスト精度に近いディープSNNの開発において、大きな注目を集めている。 提案手法は,SOTA変換手法で必要となる時間ステップを指数的に減少させる新しいANN-to-SNN変換フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-12T00:10:45Z)
• Spiking Neural Network Decision Feedback Equalization [70.3497683558609]
  決定フィードバック等化器(DFE)に似たフィードバック構造を持つSNNベースの等化器を提案する。 提案手法は,3種類の模範チャネルに対して,従来の線形等化器よりも明らかに優れていることを示す。 決定フィードバック構造を持つSNNは、競合エネルギー効率の良いトランシーバへのパスを可能にする。
  論文  参考訳（メタデータ） (2022-11-09T09:19:15Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Optimal Conversion of Conventional Artificial Neural Networks to Spiking Neural Networks [0.0]
  spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。 しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。 提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
  論文  参考訳（メタデータ） (2021-02-28T12:04:22Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。