論文の概要: 16-bit Precision of Convolutional Neural Networks on Microcontroller Units for 8-bit Costs
- arxiv url: http://arxiv.org/abs/2610.03402v1
- Date: Fri, 02 Oct 2026 14:50:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.431751
- Title: 16-bit Precision of Convolutional Neural Networks on Microcontroller Units for 8-bit Costs
- Title(参考訳): 8ビットコストのためのマイクロコントローラユニット上の畳み込みニューラルネットワークの16ビット精度
- Abstract要約: この研究は、高精度(16ビット)、高速、低エネルギー量子化法であるW16A16を提示する。
広範に適用されたマイクロコントローラアーキテクチャArmv7E-Mにおいて,提案手法は高速かつ低消費電力化を実現する。
8ビットの量子化方式と比較して10倍低い量子化誤差を観測し,類似あるいはより良い推論時間とエネルギー消費を実現した。
- 参考スコア(独自算出の注目度): 3.383115306119585
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To deploy deep neural networks on edge hardware, highly efficient inference schemes are necessary that retain high accuracy. This work presents W16A16, a high precision (16-bit), fast speed, low energy quantization method. On a widely applied microcontroller architecture Armv7E-M, our proposed approach achieves faster speed and lower energy consumption on layer- and model-level compared to alternative quantization schemes. We analyze the architecture of Armv7E-M, explain the underlying principles behind the performance advantages of 16-bit approaches, and evaluate the empiric quantization errors for regression and classification tasks, as well as empiric time- and energy consumption in MCU deployment. We observe ca.\ 10 times lower quantization errors compared to 8-bit quantization schemes while achieving similar or better inference times and energy consumption.
- Abstract(参考訳): エッジハードウェアにディープニューラルネットワークをデプロイするには、高い精度を維持するための高効率な推論スキームが必要である。
この研究は、高精度(16ビット)、高速、低エネルギー量子化法であるW16A16を提示する。
広範に適用されたマイクロコントローラアーキテクチャであるArmv7E-Mでは,代替量子化方式に比べて高速かつ低エネルギー化を実現している。
我々は,Armv7E-Mのアーキテクチャを分析し,16ビットアプローチの性能優位性の背後にある基本原理を説明し,回帰および分類タスクに対する経験的量子化誤差と,MCUデプロイメントにおける経験的時間・エネルギー消費を評価する。
私たちはcaを観察します。
の10倍の量子化誤差を8ビットの量子化方式と比較し、類似またはより良い推論時間とエネルギー消費を達成する。
関連論文リスト
- Dual Precision Quantization for Efficient and Accurate Deep Neural Networks Inference [3.7687375904925484]
本稿では,ハードウェアの利点を最小限の精度で生かした,ハードウェア効率の量子化と推論手法を提案する。
本研究では,新たな推定オーバーヘッドを伴わずに,新たな量子化アルゴリズムであるDual Precision Quantization (DPQ) を開発した。
論文 参考訳(メタデータ) (2025-05-20T17:26:12Z) - On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。
このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。
精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
論文 参考訳(メタデータ) (2023-09-05T04:39:34Z) - Free Bits: Latency Optimization of Mixed-Precision Quantized Neural
Networks on the Edge [17.277918711842457]
混合精度量子化は、モデルサイズ、レイテンシ、統計的精度の間のトレードオフを最適化する機会を提供する。
本稿では,与えられたネットワークに対する混合精度構成の探索空間をナビゲートするハイブリッド探索手法を提案する。
ハードウェアに依存しない差別化検索アルゴリズムと、特定のハードウェアターゲットに対して遅延最適化された混合精度構成を見つけるハードウェア対応最適化で構成されている。
論文 参考訳(メタデータ) (2023-07-06T09:57:48Z) - DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures
using Lookup Tables [49.965024476651706]
DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。
実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
論文 参考訳(メタデータ) (2023-04-18T15:13:10Z) - Sub-8-Bit Quantization Aware Training for 8-Bit Neural Network
Accelerator with On-Device Speech Recognition [19.949933989959682]
本稿では,8ビットニューラルネットワークアクセラレータのための新しい8ビット量子化対応トレーニング手法を提案する。
モデルパラメータのサイズを拡大し、単語エラー率を相対的に4-16%削減すると同時に、レイテンシを5%改善しています。
論文 参考訳(メタデータ) (2022-06-30T16:52:07Z) - Ps and Qs: Quantization-aware pruning for efficient low latency neural
network inference [56.24109486973292]
超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。
量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
論文 参考訳(メタデータ) (2021-02-22T19:00:05Z) - Fast Implementation of 4-bit Convolutional Neural Networks for Mobile
Devices [0.8362190332905524]
量子化ニューラルネットワークにおける4ビット行列乗算の効率的な実装について述べる。
また、MIDV-500データセット上でOCR認識のための4ビット量子化ニューラルネットワークを実演する。
その結果、4ビット量子化はモバイルデバイスに完全に適合し、十分な精度と推論時間が得られることがわかった。
論文 参考訳(メタデータ) (2020-09-14T14:48:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。