論文の概要: Measuring what Really Matters: Optimizing Neural Networks for TinyML
- arxiv url: http://arxiv.org/abs/2104.10645v1
- Date: Wed, 21 Apr 2021 17:14:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-22 14:19:39.120133
- Title: Measuring what Really Matters: Optimizing Neural Networks for TinyML
- Title（参考訳）: TinyMLのためのニューラルネットワークの最適化
- Authors: Lennart Heim, Andreas Biri, Zhongnan Qu, Lothar Thiele
- Abstract要約: ニューラルネットワーク(NN)は、アーキテクチャと計算の複雑さが前例のない成長を遂げた。
NNをリソース制約のあるデバイスに導入することで、コスト効率の高いデプロイメント、広範な可用性、機密データの保存が可能になる。
この作業は、ユビキタスなARM Cortex-Mアーキテクチャに焦点を当てた、機械学習をMCUに持ち込むという課題に対処する。
- 参考スコア（独自算出の注目度）: 7.455546102930911
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the surge of inexpensive computational and memory resources, neural
networks (NNs) have experienced an unprecedented growth in architectural and
computational complexity. Introducing NNs to resource-constrained devices
enables cost-efficient deployments, widespread availability, and the
preservation of sensitive data. This work addresses the challenges of bringing
Machine Learning to MCUs, where we focus on the ubiquitous ARM Cortex-M
architecture. The detailed effects and trade-offs that optimization methods,
software frameworks, and MCU hardware architecture have on key performance
metrics such as inference latency and energy consumption have not been
previously studied in depth for state-of-the-art frameworks such as TensorFlow
Lite Micro. We find that empirical investigations which measure the perceptible
metrics - performance as experienced by the user - are indispensable, as the
impact of specialized instructions and layer types can be subtle. To this end,
we propose an implementation-aware design as a cost-effective method for
verification and benchmarking. Employing our developed toolchain, we
demonstrate how existing NN deployments on resource-constrained devices can be
improved by systematically optimizing NNs to their targeted application
scenario.
- Abstract（参考訳）: 安価な計算とメモリリソースの急増に伴い、ニューラルネットワーク(nns)は、アーキテクチャと計算の複雑さが前例のない成長を遂げた。
NNをリソース制約のあるデバイスに導入することで、コスト効率の高いデプロイメント、広範な可用性、機密データの保存が可能になる。
この作業は、ユビキタスARM Cortex-Mアーキテクチャに焦点を当てた機械学習をMCUに導入する際の課題に対処する。
最適化方法、ソフトウェアフレームワーク、mcuハードウェアアーキテクチャが推論遅延やエネルギー消費といった重要なパフォーマンス指標に与えた影響とトレードオフは、tensorflow lite microのような最先端のフレームワークについて、これまで深く研究されていなかった。
特殊な命令やレイヤタイプの影響が微妙になるため,ユーザ自身が経験した,知覚可能なメトリクス – パフォーマンス – を測定する経験的調査は不可欠であることがわかった。
そこで本研究では,検証とベンチマークのためのコスト効率のよい手法として実装対応設計を提案する。
開発したツールチェーンを利用することで、NNをターゲットとするアプリケーションシナリオに体系的に最適化することで、リソース制約のあるデバイスへの既存のNNデプロイメントをどのように改善できるかを示す。
関連論文リスト
- Energy-Aware FPGA Implementation of Spiking Neural Network with LIF Neurons [0.5243460995467893]
スパイキングニューラルネットワーク(SNN)は、TinyMLの最先端ソリューションとして際立っている。
本稿では,第1次Leaky Integrate-and-Fire(LIF)ニューロンモデルに基づく新しいSNNアーキテクチャを提案する。
ハードウェアフレンドリーなLIF設計も提案され、Xilinx Artix-7 FPGA上で実装されている。
論文 参考訳（メタデータ） (2024-11-03T16:42:10Z) - Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。
当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。
Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
論文 参考訳（メタデータ） (2024-10-24T19:48:51Z) - Empowering Malware Detection Efficiency within Processing-in-Memory Architecture [0.7910057416898179]
機械学習を利用したマルウェア検出技術が人気を集めている。
ニューラルネットワークアーキテクチャの大きな欠点の1つは、その相当な計算リソース要件である。
本稿では,PIM(Processing-in-Memory)ベースのアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-04-12T21:28:43Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳（メタデータ） (2024-01-11T15:02:15Z) - Combining Multi-Objective Bayesian Optimization with Reinforcement Learning for TinyML [4.2019872499238256]
マルチオブジェクトベイズ最適化(MOBOpt)に基づくマイクロコントローラ(TinyML)にディープニューラルネットワークをデプロイするための新しい戦略を提案する。
本手法は,DNNの予測精度,メモリ消費量,計算複雑性のトレードオフを効率的に検出することを目的としている。
論文 参考訳（メタデータ） (2023-05-23T14:31:52Z) - MAPLE-X: Latency Prediction with Explicit Microprocessor Prior Knowledge [87.41163540910854]
ディープニューラルネットワーク(DNN)レイテンシのキャラクタリゼーションは、時間を要するプロセスである。
ハードウェアデバイスの事前知識とDNNアーキテクチャのレイテンシを具体化し,MAPLEを拡張したMAPLE-Xを提案する。
論文 参考訳（メタデータ） (2022-05-25T11:08:20Z) - Energy-efficient Deployment of Deep Learning Applications on Cortex-M
based Microcontrollers using Deep Compression [1.4050836886292872]
本稿では,資源制約されたマイクロコントローラ上でのディープラーニングモデルの効率的な展開について検討する。
本稿では,異なるDNNプルーニング,量子化,展開戦略の体系的な探索手法を提案する。
予測品質が低下する前に、元のパラメータの10%以下まで圧縮できることが示される。
論文 参考訳（メタデータ） (2022-05-20T10:55:42Z) - Resistive Neural Hardware Accelerators [0.46198289193451136]
ReRAMベースのインメモリコンピューティングは、領域と電力効率のよい推論の実装において大きな可能性を秘めている。
ReRAMベースのインメモリコンピューティングへの移行は、領域と電力効率のよい推論の実装において大きな可能性を秘めている。
本稿では,最先端のReRAMベースディープニューラルネットワーク(DNN)多コアアクセラレータについて概説する。
論文 参考訳（メタデータ） (2021-09-08T21:11:48Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳（メタデータ） (2021-06-15T17:22:59Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳（メタデータ） (2020-09-29T11:56:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。