論文の概要: A Methodology for Improving Accuracy of Embedded Spiking Neural Networks through Kernel Size Scaling

• arxiv url: http://arxiv.org/abs/2404.01685v2
• Date: Thu, 4 Apr 2024 00:36:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-05 11:20:41.956101
• Title: A Methodology for Improving Accuracy of Embedded Spiking Neural Networks through Kernel Size Scaling
• Title（参考訳）: カーネルサイズスケーリングによる埋め込みスパイクニューラルネットワークの精度向上手法
• Authors: Rachmad Vidya Wicaksana Putra, Muhammad Shafique,
• Abstract要約: Spiking Neural Networks(SNN)は、機械学習ベースのアプリケーションに対して、超低電力/エネルギー消費を提供する。 現在、ほとんどのSNNアーキテクチャはより高精度なモデルサイズを必要とする。 本稿では,カーネルサイズスケーリングによるSNNの精度向上手法を提案する。
• 参考スコア（独自算出の注目度）: 6.006032394972252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) can offer ultra low power/ energy consumption for machine learning-based applications due to their sparse spike-based operations. Currently, most of the SNN architectures need a significantly larger model size to achieve higher accuracy, which is not suitable for resource-constrained embedded applications. Therefore, developing SNNs that can achieve high accuracy with acceptable memory footprint is highly needed. Toward this, we propose a novel methodology that improves the accuracy of SNNs through kernel size scaling. Its key steps include investigating the impact of different kernel sizes on the accuracy, devising new sets of kernel sizes, generating SNN architectures based on the selected kernel sizes, and analyzing the accuracy-memory trade-offs for SNN model selection. The experimental results show that our methodology achieves higher accuracy than state-of-the-art (93.24% accuracy for CIFAR10 and 70.84% accuracy for CIFAR100) with less than 10M parameters and up to 3.45x speed-up of searching time, thereby making it suitable for embedded applications.
• Abstract（参考訳）: Spiking Neural Networks (SNN) は、スパーススパイクベースの操作のため、機械学習ベースのアプリケーションに対して、超低電力/エネルギー消費を提供することができる。 現在、ほとんどのSNNアーキテクチャは、より精度の高いモデルサイズを必要とするが、リソース制約のある組み込みアプリケーションには適さない。 そのため,メモリフットプリントを許容できる精度の高いSNNの開発が不可欠である。 そこで本研究では,カーネルサイズスケーリングによるSNNの精度向上手法を提案する。 その重要なステップは、異なるカーネルサイズが精度に与える影響を調査し、新しいカーネルサイズを考案し、選択したカーネルサイズに基づいてSNNアーキテクチャを生成し、SNNモデル選択の精度-メモリトレードオフを分析することである。 実験の結果,CIFAR10では93.24%,CIFAR100では70.84%,探索時間の最大3.45倍の高速化を実現し,組込みアプリケーションに適していることがわかった。

関連論文リスト

• SpikeNAS: A Fast Memory-Aware Neural Architecture Search Framework for Spiking Neural Network-based Autonomous Agents [6.006032394972252]
  スパイキングニューラルネットワークは、高精度で超低消費電力/エネルギー計算を提供する。 SpikeNASは、SNNのための新しい高速メモリ対応ニューラルアーキテクチャ検索フレームワークである。 その結果,SpikeNASは検索時間を改善するとともに,最先端技術と比較して精度が向上していることがわかった。
  論文  参考訳（メタデータ） (2024-02-17T16:33:54Z)
• Highly Efficient SNNs for High-speed Object Detection [7.3074002563489024]
  実験結果から, 物体検出タスクにおいて, 1.5MBのパラメータしか持たないGPU上で, 効率的なSNNが118倍の高速化を実現できることが示唆された。 FPGAプラットフォーム上でのSNNをさらに検証し,800以上のFPSオブジェクトを極めて低レイテンシで検出できるモデルを提案する。
  論文  参考訳（メタデータ） (2023-09-27T10:31:12Z)
• Flexible Channel Dimensions for Differentiable Architecture Search [50.33956216274694]
  本稿では,効率的な動的チャネル割当アルゴリズムを用いた新しい微分可能なニューラルアーキテクチャ探索法を提案する。 提案するフレームワークは,タスク精度と推論遅延において,従来の手法と等価なDNNアーキテクチャを見つけることができることを示す。
  論文  参考訳（メタデータ） (2023-06-13T15:21:38Z)
• EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications [68.35683849098105]
  入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。 1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。 パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2022-06-21T17:59:56Z)
• tinySNN: Towards Memory- and Energy-Efficient Spiking Neural Networks [14.916996986290902]
  スパイキングニューラルネットワーク(SNN)モデルは、高い精度を提供できるため、一般的に好適である。 しかし、資源とエネルギーを制約した組込みプラットフォームにそのようなモデルを適用することは非効率である。 本稿では,SNN処理のメモリおよびエネルギー要求を最適化する小型SNNフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-17T09:40:40Z)
• AutoSNN: Towards Energy-Efficient Spiking Neural Networks [26.288681480713695]
  スパイキングニューラルネットワーク(SNN)は、脳内の情報伝達を模倣する。 これまでのほとんどの研究は訓練方法のみに焦点を合わせており、建築の影響はめったに研究されていない。 我々はAutoSNNと呼ばれるスパイク対応ニューラルネットワーク検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-30T06:12:59Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。