論文の概要: Lightweight Software Kernels and Hardware Extensions for Efficient Sparse Deep Neural Networks on Microcontrollers

• arxiv url: http://arxiv.org/abs/2503.06183v2
• Date: Wed, 19 Mar 2025 10:10:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:20:38.818377
• Title: Lightweight Software Kernels and Hardware Extensions for Efficient Sparse Deep Neural Networks on Microcontrollers
• Title（参考訳）: マイクロコントローラ上での効率的なスパースディープニューラルネットワークのための軽量ソフトウェアカーネルとハードウェア拡張
• Authors: Francesco Daghero, Daniele Jahier Pagliari, Francesco Conti, Luca Benini, Massimo Poncino, Alessio Burrello,
• Abstract要約: 我々は、超低消費電力マルチコアRISC-V MCUをターゲットとした、N:Mプルーニング層のための最適化されたソフトウェアカーネルセットを設計する。 Instruction-Set Architecture (ISA) 拡張を実装し,間接負荷および非ゼロ指標圧縮処理を高速化する。 ResNet18 と Vision Transformer (ViT) で3.21x と 1.81x の高速化を示す。
• 参考スコア（独自算出の注目度）: 15.99157864550101
• License:
• Abstract: The acceleration of pruned Deep Neural Networks (DNNs) on edge devices such as Microcontrollers (MCUs) is a challenging task, given the tight area- and power-constraints of these devices. In this work, we propose a three-fold contribution to address this problem. First, we design a set of optimized software kernels for N:M pruned layers, targeting ultra-low-power, multicore RISC-V MCUs, which are up to 2.1x and 3.4x faster than their dense counterparts at 1:8 and 1:16 sparsity, respectively. Then, we implement a lightweight Instruction-Set Architecture (ISA) extension to accelerate the indirect load and non-zero indices decompression operations required by our kernels, obtaining up to 1.9x extra speedup, at the cost of a 5% area overhead. Lastly, we extend an open-source DNN compiler to utilize our sparse kernels for complete networks, showing speedups of 3.21x and 1.81x on a ResNet18 and a Vision Transformer (ViT), with less than 1.5% accuracy drop compared to a dense baseline.
• Abstract（参考訳）: マイクロコントローラ(MCU)のようなエッジデバイス上でのプルーニングディープニューラルネットワーク(DNN)の高速化は、これらのデバイスの狭い領域と電力制約を考えると、難しい作業である。 本研究では,この問題に対処するための3倍のコントリビューションを提案する。 まず,超低消費電力のRISC-V MCUをターゲットとした,N:Mプルーニング層向けに最適化されたソフトウェアカーネルセットを設計し,それぞれ1:8,1:16の高密度カーネルよりも2.1倍,3.4倍高速なマルチコアRISC-V MCUを設計する。 そこで我々は,間接負荷と非ゼロインデックスの減圧処理を高速化する軽量なインストラクション・セットアーキテクチャ(ISA)拡張を実装し,最大1.9倍の高速化を実現する。 最後に,オープンソースのDNNコンパイラを拡張し,ResNet18 と Vision Transformer (ViT) 上での3.21x と 1.81x の高速化を示す。

関連論文リスト

• SLTNet: Efficient Event-based Semantic Segmentation with Spike-driven Lightweight Transformer-based Networks [7.234661153788162]
  イベントベースのセマンティックセグメンテーションは、自動運転とロボット工学において大きな可能性を秘めている。 現在の人工知能ニューラルネットワーク(ANN)ベースのセグメンテーション手法は、高い計算要求、画像フレームの要求、膨大なエネルギー消費に悩まされている。 イベントベースセマンティックセグメンテーション用に設計されたスパイク駆動型軽量トランスフォーマーベースネットワークであるSLTNetを紹介する。
  論文  参考訳（メタデータ） (2024-12-17T12:11:04Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Precision-aware Latency and Energy Balancing on Multi-Accelerator Platforms for DNN Inference [22.9834921448069]
  我々は,チップ上で異なるアクセラレーター間で細粒度マッピングを行うハードウェア認識ツールであるODiMOを提案する。 ODiMOは,手動マッピングと比較して,限界精度低下(-0.53%/-0.32%)で,最大33%/31%のエネルギー/遅延を減少させることを示した。
  論文  参考訳（メタデータ） (2023-06-08T09:23:46Z)
• BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance [54.214426436283134]
  Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。 我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。 小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
  論文  参考訳（メタデータ） (2022-11-13T18:31:45Z)
• Lightweight and Progressively-Scalable Networks for Semantic Segmentation [100.63114424262234]
  マルチスケール学習フレームワークは,セマンティックセグメンテーションを向上する有効なモデルのクラスと見なされてきた。 本稿では,畳み込みブロックの設計と,複数スケールにわたる相互作用の仕方について,徹底的に解析する。 我々は,軽量で拡張性の高いネットワーク(LPS-Net)を考案した。
  論文  参考訳（メタデータ） (2022-07-27T16:00:28Z)
• BiFSMN: Binary Neural Network for Keyword Spotting [47.46397208920726]
  BiFSMNは、KWSのための正確かつ極効率のバイナリニューラルネットワークである。 実世界のエッジハードウェアにおいて,BiFSMNは22.3倍の高速化と15.5倍のストレージ節約を実現可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-14T05:16:53Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Towards Memory-Efficient Neural Networks via Multi-Level in situ Generation [10.563649948220371]
  ディープニューラルネットワーク(DNN)は、様々なタスクにおいて優れたパフォーマンスを示している。 それらが急速に進化するにつれて、そのエスカレーション計算とメモリ要求により、リソースに制約のあるエッジデバイスへのデプロイが困難になる。 超高速なオンチップ計算で高価なメモリトランザクションを交換するための汎用的で統一的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-25T18:50:24Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• DORY: Automatic End-to-End Deployment of Real-World DNNs on Low-Cost IoT MCUs [6.403349961091506]
  低コストのMCUベースのエンドノードはオンチップメモリが限られており、キャッシュをスクラッチパッドで置き換えることが多い。 DORYは、通常1MB以下のオンチップメモリを持つ低価格のMCUにデプロイする自動ツールである。
  論文  参考訳（メタデータ） (2020-08-17T07:30:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。