論文の概要: Measuring what Really Matters: Optimizing Neural Networks for TinyML
- arxiv url: http://arxiv.org/abs/2104.10645v1
- Date: Wed, 21 Apr 2021 17:14:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-22 14:19:39.120133
- Title: Measuring what Really Matters: Optimizing Neural Networks for TinyML
- Title(参考訳): TinyMLのためのニューラルネットワークの最適化
- Authors: Lennart Heim, Andreas Biri, Zhongnan Qu, Lothar Thiele
- Abstract要約: ニューラルネットワーク(NN)は、アーキテクチャと計算の複雑さが前例のない成長を遂げた。
NNをリソース制約のあるデバイスに導入することで、コスト効率の高いデプロイメント、広範な可用性、機密データの保存が可能になる。
この作業は、ユビキタスなARM Cortex-Mアーキテクチャに焦点を当てた、機械学習をMCUに持ち込むという課題に対処する。
- 参考スコア(独自算出の注目度): 7.455546102930911
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the surge of inexpensive computational and memory resources, neural
networks (NNs) have experienced an unprecedented growth in architectural and
computational complexity. Introducing NNs to resource-constrained devices
enables cost-efficient deployments, widespread availability, and the
preservation of sensitive data. This work addresses the challenges of bringing
Machine Learning to MCUs, where we focus on the ubiquitous ARM Cortex-M
architecture. The detailed effects and trade-offs that optimization methods,
software frameworks, and MCU hardware architecture have on key performance
metrics such as inference latency and energy consumption have not been
previously studied in depth for state-of-the-art frameworks such as TensorFlow
Lite Micro. We find that empirical investigations which measure the perceptible
metrics - performance as experienced by the user - are indispensable, as the
impact of specialized instructions and layer types can be subtle. To this end,
we propose an implementation-aware design as a cost-effective method for
verification and benchmarking. Employing our developed toolchain, we
demonstrate how existing NN deployments on resource-constrained devices can be
improved by systematically optimizing NNs to their targeted application
scenario.
- Abstract(参考訳): 安価な計算とメモリリソースの急増に伴い、ニューラルネットワーク(nns)は、アーキテクチャと計算の複雑さが前例のない成長を遂げた。
NNをリソース制約のあるデバイスに導入することで、コスト効率の高いデプロイメント、広範な可用性、機密データの保存が可能になる。
この作業は、ユビキタスARM Cortex-Mアーキテクチャに焦点を当てた機械学習をMCUに導入する際の課題に対処する。
最適化方法、ソフトウェアフレームワーク、mcuハードウェアアーキテクチャが推論遅延やエネルギー消費といった重要なパフォーマンス指標に与えた影響とトレードオフは、tensorflow lite microのような最先端のフレームワークについて、これまで深く研究されていなかった。
特殊な命令やレイヤタイプの影響が微妙になるため,ユーザ自身が経験した,知覚可能なメトリクス – パフォーマンス – を測定する経験的調査は不可欠であることがわかった。
そこで本研究では,検証とベンチマークのためのコスト効率のよい手法として実装対応設計を提案する。
開発したツールチェーンを利用することで、NNをターゲットとするアプリケーションシナリオに体系的に最適化することで、リソース制約のあるデバイスへの既存のNNデプロイメントをどのように改善できるかを示す。
関連論文リスト
- LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network
through Spatial-Temporal Compressive Network Search and Joint Optimization [51.9395471326897]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。
本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitESNNという新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-01-26T05:23:11Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳(メタデータ) (2024-01-11T15:02:15Z) - Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural
Networks on Edge NPUs [74.83613252825754]
スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。
これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。
そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
論文 参考訳(メタデータ) (2022-09-27T15:04:01Z) - MAPLE-X: Latency Prediction with Explicit Microprocessor Prior Knowledge [87.41163540910854]
ディープニューラルネットワーク(DNN)レイテンシのキャラクタリゼーションは、時間を要するプロセスである。
ハードウェアデバイスの事前知識とDNNアーキテクチャのレイテンシを具体化し,MAPLEを拡張したMAPLE-Xを提案する。
論文 参考訳(メタデータ) (2022-05-25T11:08:20Z) - Energy-efficient Deployment of Deep Learning Applications on Cortex-M
based Microcontrollers using Deep Compression [1.4050836886292872]
本稿では,資源制約されたマイクロコントローラ上でのディープラーニングモデルの効率的な展開について検討する。
本稿では,異なるDNNプルーニング,量子化,展開戦略の体系的な探索手法を提案する。
予測品質が低下する前に、元のパラメータの10%以下まで圧縮できることが示される。
論文 参考訳(メタデータ) (2022-05-20T10:55:42Z) - Resistive Neural Hardware Accelerators [0.46198289193451136]
ReRAMベースのインメモリコンピューティングは、領域と電力効率のよい推論の実装において大きな可能性を秘めている。
ReRAMベースのインメモリコンピューティングへの移行は、領域と電力効率のよい推論の実装において大きな可能性を秘めている。
本稿では,最先端のReRAMベースディープニューラルネットワーク(DNN)多コアアクセラレータについて概説する。
論文 参考訳(メタデータ) (2021-09-08T21:11:48Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳(メタデータ) (2021-06-15T17:22:59Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳(メタデータ) (2020-09-29T11:56:01Z) - HCM: Hardware-Aware Complexity Metric for Neural Network Architectures [6.556553154231475]
本稿では,ニューラルネットワークアーキテクチャのシステムデザイナを支援することを目的とした,ハードウェア対応の複雑性指標を提案する。
提案手法は,資源制限されたデバイス上でのニューラルネットワークモデルの設計代替案の評価にどのように役立つかを示す。
論文 参考訳(メタデータ) (2020-04-19T16:42:51Z) - Resource-Efficient Neural Networks for Embedded Systems [33.378784455191756]
私たちは、過去10年で主要な機械学習モデルであるディープニューラルネットワーク(DNN)に注目しています。
i) 量子化されたニューラルネットワーク, (ii) ネットワークプルーニング, (iii) 構造効率の3つの非相互排他的なカテゴリに分けることができる。
資源制約された組込みシステムに対する圧縮技術(量子化, プルーニング)を用いて、よく知られたベンチマークデータセットの実験により、我々の議論を裏付ける。
論文 参考訳(メタデータ) (2020-01-07T14:17:09Z) - Lightweight Residual Densely Connected Convolutional Neural Network [18.310331378001397]
畳み込みニューラルネットワークの深い監督, 効率的な勾配流, 特徴再利用能力を保証するために, 軽量な高密度連結ブロックを提案する。
提案手法は,特別なハードウェア・ソフトウェア機器を使わずに,トレーニングと推論のコストを低減させる。
論文 参考訳(メタデータ) (2020-01-02T17:15:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。