論文の概要: Efficient Neural Networks for Tiny Machine Learning: A Comprehensive Review

• arxiv url: http://arxiv.org/abs/2311.11883v1
• Date: Mon, 20 Nov 2023 16:20:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-21 18:03:04.862439
• Title: Efficient Neural Networks for Tiny Machine Learning: A Comprehensive Review
• Title（参考訳）: Tiny Machine Learningのための効率的なニューラルネットワーク:包括的レビュー
• Authors: Minh Tri L\^e, Pierre Wolinski, Julyan Arbel
• Abstract要約: このレビューでは、効率的なニューラルネットワークの進歩と超低消費電力マイクロコントローラへのディープラーニングモデルの展開を詳細に分析する。 レビューの中核は、TinyMLの効率的なニューラルネットワークに焦点を当てている。 モデル圧縮、量子化、低ランク因数分解などのテクニックをカバーし、最小限のリソース利用のためにニューラルネットワークアーキテクチャを最適化する。 次に,超低消費電力MCU上でのディープラーニングモデルの展開について検討し,限られた計算能力やメモリ資源といった課題に対処する。
• 参考スコア（独自算出の注目度）: 1.049712834719005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The field of Tiny Machine Learning (TinyML) has gained significant attention due to its potential to enable intelligent applications on resource-constrained devices. This review provides an in-depth analysis of the advancements in efficient neural networks and the deployment of deep learning models on ultra-low power microcontrollers (MCUs) for TinyML applications. It begins by introducing neural networks and discussing their architectures and resource requirements. It then explores MEMS-based applications on ultra-low power MCUs, highlighting their potential for enabling TinyML on resource-constrained devices. The core of the review centres on efficient neural networks for TinyML. It covers techniques such as model compression, quantization, and low-rank factorization, which optimize neural network architectures for minimal resource utilization on MCUs. The paper then delves into the deployment of deep learning models on ultra-low power MCUs, addressing challenges such as limited computational capabilities and memory resources. Techniques like model pruning, hardware acceleration, and algorithm-architecture co-design are discussed as strategies to enable efficient deployment. Lastly, the review provides an overview of current limitations in the field, including the trade-off between model complexity and resource constraints. Overall, this review paper presents a comprehensive analysis of efficient neural networks and deployment strategies for TinyML on ultra-low-power MCUs. It identifies future research directions for unlocking the full potential of TinyML applications on resource-constrained devices.
• Abstract（参考訳）: Tiny Machine Learning(TinyML)の分野は、リソース制約のあるデバイス上でインテリジェントなアプリケーションを可能にする可能性から、大きな注目を集めている。 本稿では,効率的なニューラルネットワークの進歩と,超低消費電力マイクロコントローラ(mcu)上での深層学習モデルの展開に関する詳細な分析を行う。 ニューラルネットワークの導入から始まり、そのアーキテクチャとリソース要件について議論する。 その後、MEMSベースの超低消費電力MCUアプリケーションを探り、リソース制約のあるデバイスでTinyMLを有効にする可能性を強調した。 レビューの核心は、tinymlの効率的なニューラルネットワークである。 モデル圧縮、量子化、低ランク分解など、MCU上の最小リソース利用のためにニューラルネットワークアーキテクチャを最適化するテクニックをカバーしている。 次に,超低消費電力MCU上でのディープラーニングモデルの展開について検討し,限られた計算能力やメモリ資源といった課題に対処する。 効率的なデプロイメントを実現する戦略として,モデルプルーニングやハードウェアアクセラレーション,アルゴリズムアーキテクチャの共設計などが議論されている。 最後に、レビューは、モデル複雑さとリソース制約の間のトレードオフを含む、この分野における現在の制限の概要を提供する。 本稿では,超低消費電力MCU上でのTinyMLの効率的なニューラルネットワークとデプロイメント戦略を総合的に分析する。 リソース制約のあるデバイス上で、TinyMLアプリケーションの潜在能力を解放するための将来の研究方向を特定する。

関連論文リスト

• Energy-Aware FPGA Implementation of Spiking Neural Network with LIF Neurons [0.5243460995467893]
  スパイキングニューラルネットワーク(SNN)は、TinyMLの最先端ソリューションとして際立っている。 本稿では,第1次Leaky Integrate-and-Fire(LIF)ニューロンモデルに基づく新しいSNNアーキテクチャを提案する。 ハードウェアフレンドリーなLIF設計も提案され、Xilinx Artix-7 FPGA上で実装されている。
  論文  参考訳（メタデータ） (2024-11-03T16:42:10Z)
• Deep learning applied to computational mechanics: A comprehensive review, state of the art, and the classics [77.34726150561087]
  人工知能,特に深層学習(DL)の最近の進歩を概観する。 ハイブリッドおよび純粋機械学習(ML)の手法について論じる。 AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
  論文  参考訳（メタデータ） (2022-12-18T02:03:00Z)
• DeepPicarMicro: Applying TinyML to Autonomous Cyber Physical Systems [2.2667044691227636]
  本稿では、Raspberry Pi Pico MCU上で畳み込みニューラルネットワーク(CNN)を動作させる、小型の自動運転RCカーテストベッドであるDeepPicarMicroを紹介する。 我々は、よく知られたPilotNet CNNアーキテクチャに適合させるために、最先端のDNN最適化を適用した。 システムの精度、レイテンシ、制御性能の興味深い関係を観察する。
  論文  参考訳（メタデータ） (2022-08-23T21:58:53Z)
• Energy-efficient Deployment of Deep Learning Applications on Cortex-M based Microcontrollers using Deep Compression [1.4050836886292872]
  本稿では,資源制約されたマイクロコントローラ上でのディープラーニングモデルの効率的な展開について検討する。 本稿では,異なるDNNプルーニング,量子化,展開戦略の体系的な探索手法を提案する。 予測品質が低下する前に、元のパラメータの10%以下まで圧縮できることが示される。
  論文  参考訳（メタデータ） (2022-05-20T10:55:42Z)
• Enable Deep Learning on Mobile Devices: Methods, Systems, and Applications [46.97774949613859]
  ディープニューラルネットワーク(DNN)は人工知能(AI)分野において前例のない成功を収めた しかし、それらの優れた性能は、計算の複雑さのかなりのコストを伴っている。 本稿では,効率的なディープラーニング手法,システム,応用について概説する。
  論文  参考訳（メタデータ） (2022-04-25T16:52:48Z)
• Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers [67.688697838109]
  本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。 2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
  論文  参考訳（メタデータ） (2021-11-29T09:30:06Z)
• TinyML for Ubiquitous Edge AI [0.0]
  TinyMLは、極低電力域(mW範囲以下)で動作する組み込み(マイクロコントローラ駆動)デバイス上でのディープラーニングアルゴリズムの実現に重点を置いている。 TinyMLは、電力効率が高く、コンパクトなディープニューラルネットワークモデル、ソフトウェアフレームワークのサポート、組み込みハードウェアの設計における課題に対処する。 本報告では,この分野の拡大を導く主要な課題と技術的実現要因について論じる。
  論文  参考訳（メタデータ） (2021-02-02T02:04:54Z)
• MicroNets: Neural Network Architectures for Deploying TinyML Applications on Commodity Microcontrollers [18.662026553041937]
  リソース制約付きマイクロコントローラ(MCU)による機械学習は、IoT(Internet of Things)のアプリケーション領域を大幅に拡大することを約束する TinyMLは、ディープニューラルネットワーク推論が大きな計算とメモリの予算を必要とするため、深刻な技術的課題を提示している。 ニューラルネットワークサーチ(NAS)は、厳密なMCUメモリ、レイテンシ、エネルギー制約を満たす正確なMLモデルの設計を支援する。
  論文  参考訳（メタデータ） (2020-10-21T19:39:39Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks [63.91384986073851]
  オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。 ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
  論文  参考訳（メタデータ） (2020-07-27T09:01:22Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。