論文の概要: Multi-Component Optimization and Efficient Deployment of Neural-Networks on Resource-Constrained IoT Hardware

• arxiv url: http://arxiv.org/abs/2204.10183v1
• Date: Wed, 20 Apr 2022 13:30:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-23 06:23:51.742722
• Title: Multi-Component Optimization and Efficient Deployment of Neural-Networks on Resource-Constrained IoT Hardware
• Title（参考訳）: 資源制約型IoTハードウェアにおけるニューラルネットワークの多成分最適化と効率的な展開
• Authors: Bharath Sudharsan, Dineshkumar Sundaram, Pankesh Patel, John G. Breslin, Muhammad Intizar Ali, Schahram Dustdar, Albert Zomaya, Rajiv Ranjan
• Abstract要約: 本稿では,エンドツーエンドのマルチコンポーネントモデル最適化シーケンスを提案し,その実装をオープンソース化する。 最適化コンポーネントは, (i) 12.06 x の圧縮, (ii) 0.13% から 0.27% の精度, (iii) 単位推定の桁数が 0.06 ms のモデルを生成することができる。
• 参考スコア（独自算出の注目度）: 4.6095200019189475
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The majority of IoT devices like smartwatches, smart plugs, HVAC controllers, etc., are powered by hardware with a constrained specification (low memory, clock speed and processor) which is insufficient to accommodate and execute large, high-quality models. On such resource-constrained devices, manufacturers still manage to provide attractive functionalities (to boost sales) by following the traditional approach of programming IoT devices/products to collect and transmit data (image, audio, sensor readings, etc.) to their cloud-based ML analytics platforms. For decades, this online approach has been facing issues such as compromised data streams, non-real-time analytics due to latency, bandwidth constraints, costly subscriptions, recent privacy issues raised by users and the GDPR guidelines, etc. In this paper, to enable ultra-fast and accurate AI-based offline analytics on resource-constrained IoT devices, we present an end-to-end multi-component model optimization sequence and open-source its implementation. Researchers and developers can use our optimization sequence to optimize high memory, computation demanding models in multiple aspects in order to produce small size, low latency, low-power consuming models that can comfortably fit and execute on resource-constrained hardware. The experimental results show that our optimization components can produce models that are; (i) 12.06 x times compressed; (ii) 0.13% to 0.27% more accurate; (iii) Orders of magnitude faster unit inference at 0.06 ms. Our optimization sequence is generic and can be applied to any state-of-the-art models trained for anomaly detection, predictive maintenance, robotics, voice recognition, and machine vision.
• Abstract（参考訳）: スマートウォッチ、スマートプラグ、HVACコントローラなどのIoTデバイスの大部分は、大きな高品質モデルに対応および実行に不十分な制約付き仕様(メモリ、クロック速度、プロセッサ)のハードウェアによって駆動されている。 このようなリソース制約のあるデバイス上では、製造業者は、データ(画像、オーディオ、センサー読み取りなど)をクラウドベースのML分析プラットフォームに収集、送信するIoTデバイス/プロダクトのプログラミングアプローチに従えば、魅力的な機能(販売を促進するために)を提供することができる。 何十年もの間、このオンラインアプローチは、データストリームの漏洩、レイテンシによる非リアルタイム分析、帯域制限、コストのかかるサブスクリプション、ユーザによる最近のプライバシー問題、GDPRガイドラインなどに直面してきた。 本稿では,資源制約されたIoTデバイス上で,超高速かつ正確なAIベースのオフライン分析を可能にするために,エンドツーエンドのマルチコンポーネントモデル最適化シーケンスを提案し,その実装をオープンソース化する。 研究者や開発者は、我々の最適化シーケンスを使用して、リソースに制約されたハードウェアで快適に適合し実行可能な、小さなサイズ、低レイテンシ、低消費電力の消費モデルを生成するために、高メモリ、計算要求モデルの複数の側面を最適化することができる。 実験の結果,最適化コンポーネントはモデルを生成することができることがわかった。 (i)12.06倍の圧縮 (ii)0.13%から0.27%の精度 最適化シーケンスは汎用的であり、異常検出、予測保守、ロボット工学、音声認識、および機械ビジョンのために訓練されたあらゆる最先端モデルに適用することができる。

関連論文リスト

• Analysis of Hardware Synthesis Strategies for Machine Learning in Collider Trigger and Data Acquisition [0.0]
  機械学習は、インテリジェントなデータ処理と取得のために検出器エレクトロニクスに実装することができる。 衝突時のリアルタイムMLの実装には、ソフトウェアベースのアプローチでは実現不可能な非常に低いレイテンシが必要です。 フィールドプログラマブルゲートアレイにおけるコライダートリガーアルゴリズムの適用に着目し,ニューラルネットワークの推論効率の解析を行った。
  論文  参考訳（メタデータ） (2024-11-18T15:59:30Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Benchmarking Deep Learning Models on NVIDIA Jetson Nano for Real-Time Systems: An Empirical Investigation [2.3636539018632616]
  この研究は、複雑なディープラーニングモデルの最適化を実証的に研究し、組み込みデバイス上で機能を分析する。 画像分類と映像行動検出のための推論速度の観点から最適化されたモデルの有効性を評価する。
  論文  参考訳（メタデータ） (2024-06-25T17:34:52Z)
• Enhancing Neural Architecture Search with Multiple Hardware Constraints for Deep Learning Model Deployment on Tiny IoT Devices [17.919425885740793]
  微分可能なNAS最適化手法に複数の制約を組み込む新しい手法を提案する。 単一の検索で、それぞれ87.4%と54.2%のメモリとレイテンシを削減できることが示されている。
  論文  参考訳（メタデータ） (2023-10-11T06:09:14Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• MAPLE-X: Latency Prediction with Explicit Microprocessor Prior Knowledge [87.41163540910854]
  ディープニューラルネットワーク(DNN)レイテンシのキャラクタリゼーションは、時間を要するプロセスである。 ハードウェアデバイスの事前知識とDNNアーキテクチャのレイテンシを具体化し,MAPLEを拡張したMAPLE-Xを提案する。
  論文  参考訳（メタデータ） (2022-05-25T11:08:20Z)
• YONO: Modeling Multiple Heterogeneous Neural Networks on Microcontrollers [10.420617367363047]
  YONOは製品量子化(PQ)ベースのアプローチで、複数の異種モデルを圧縮し、インメモリモデルの実行と切り替えを可能にする。 YONOは、複数の異種モデルを無視できるか、または12.37$times$まで精度を損なわないで圧縮できるので、優れた性能を示している。
  論文  参考訳（メタデータ） (2022-03-08T01:24:36Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT [51.68933585002123]
  エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。 本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。 特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
  論文  参考訳（メタデータ） (2021-10-28T08:14:57Z)
• Improving IoT Analytics through Selective Edge Execution [0.0]
  エッジインフラストラクチャを活用して分析性能を向上させることを提案する。 我々は、IoTデバイスがそれらのルーチンをローカルに実行できるようにするアルゴリズムを考案した。 そして、それらをクラウドレットサーバにアウトソースします。
  論文  参考訳（メタデータ） (2020-03-07T15:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。