論文の概要: TinyM$^2$Net-V3: Memory-Aware Compressed Multimodal Deep Neural Networks for Sustainable Edge Deployment
- arxiv url: http://arxiv.org/abs/2405.12353v1
- Date: Mon, 20 May 2024 20:03:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-22 14:57:39.908655
- Title: TinyM$^2$Net-V3: Memory-Aware Compressed Multimodal Deep Neural Networks for Sustainable Edge Deployment
- Title(参考訳): TinyM$^2$Net-V3:サステナブルエッジ展開のためのメモリ対応圧縮マルチモーダルディープニューラルネットワーク
- Authors: Hasib-Al Rashid, Tinoosh Mohsenin,
- Abstract要約: この研究はTinyM$2$Net-V3を導入し、相補的なデータの異なるモジュラリティを処理し、ディープニューラルネットワーク(DNN)モデルを設計し、モデル圧縮技術を採用している。
私たちの小さな機械学習モデルは、リソース制限されたハードウェア上にデプロイされ、ミリ秒以内の低レイテンシと非常に高い電力効率を示しました。
- 参考スコア(独自算出の注目度): 0.5893124686141782
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The advancement of sophisticated artificial intelligence (AI) algorithms has led to a notable increase in energy usage and carbon dioxide emissions, intensifying concerns about climate change. This growing problem has brought the environmental sustainability of AI technologies to the forefront, especially as they expand across various sectors. In response to these challenges, there is an urgent need for the development of sustainable AI solutions. These solutions must focus on energy-efficient embedded systems that are capable of handling diverse data types even in environments with limited resources, thereby ensuring both technological progress and environmental responsibility. Integrating complementary multimodal data into tiny machine learning models for edge devices is challenging due to increased complexity, latency, and power consumption. This work introduces TinyM$^2$Net-V3, a system that processes different modalities of complementary data, designs deep neural network (DNN) models, and employs model compression techniques including knowledge distillation and low bit-width quantization with memory-aware considerations to fit models within lower memory hierarchy levels, reducing latency and enhancing energy efficiency on resource-constrained devices. We evaluated TinyM$^2$Net-V3 in two multimodal case studies: COVID-19 detection using cough, speech, and breathing audios, and pose classification from depth and thermal images. With tiny inference models (6 KB and 58 KB), we achieved 92.95% and 90.7% accuracies, respectively. Our tiny machine learning models, deployed on resource limited hardware, demonstrated low latencies within milliseconds and very high power efficiency.
- Abstract(参考訳): 高度な人工知能(AI)アルゴリズムの進歩により、エネルギー使用量や二酸化炭素排出量が著しく増加し、気候変動に対する懸念が高まっている。
この増大する問題により、AI技術の環境持続性が最前線に進出した。
これらの課題に対応するため、持続可能なAIソリューションの開発には緊急の必要性がある。
これらのソリューションは、限られた資源を持つ環境でも多様なデータタイプを扱えるエネルギー効率の高い組込みシステムに焦点を合わせ、技術的進歩と環境責任の両立を保証する必要がある。
エッジデバイス用の小さな機械学習モデルに補完的なマルチモーダルデータを統合することは、複雑さ、レイテンシ、消費電力の増加によって困難である。
この研究はTinyM$^2$Net-V3を導入し、相補的なデータの異なるモダリティを処理し、ディープニューラルネットワーク(DNN)モデルを設計し、知識蒸留や低ビット幅量子化を含むモデル圧縮技術を用いて、低メモリ階層レベルにモデルを適合させ、レイテンシを低減し、リソース制約のあるデバイスにおけるエネルギー効率を向上する。
我々はTinyM$^2$Net-V3を2つのマルチモーダルケーススタディで評価した。
小さな推論モデル(6KBと58KB)では、それぞれ92.95%と90.7%の精度を達成した。
私たちの小さな機械学習モデルは、リソース制限されたハードウェア上にデプロイされ、ミリ秒以内の低レイテンシと非常に高い電力効率を示しました。
関連論文リスト
- SCAR: Scheduling Multi-Model AI Workloads on Heterogeneous Multi-Chiplet Module Accelerators [12.416683044819955]
最近の大規模言語モデルのような重モデルによるマルチモデルワークロードは、ハードウェアにおける計算とメモリの要求を大幅に増加させた。
このような要求に対処するため、スケーラブルなハードウェアアーキテクチャを設計することが重要な問題となった。
我々は,巨大なスケジューリング空間をナビゲートするスケジューラのセットを開発し,それらをパイプライン間パイプライニングのような高度な技術でスケジューラにコーデレートする。
論文 参考訳(メタデータ) (2024-05-01T18:02:25Z) - Random resistive memory-based deep extreme point learning machine for
unified visual processing [67.51600474104171]
ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。
我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
論文 参考訳(メタデータ) (2023-12-14T09:46:16Z) - Green Edge AI: A Contemporary Survey [49.47249665895926]
グリーンエッジAIに関する現代の調査を紹介する。
その可能性にもかかわらず、エッジAIは重大な課題に直面している。主な原因は、無線エッジネットワークのリソース制限と、ディープラーニング(DL)のリソース集約性との間の二分である。
我々は、エッジAIシステムにおける3つの重要なタスクに対して、トレーニングデータ取得、エッジトレーニング、エッジ推論を含むエネルギー効率の高い設計手法について検討する。
論文 参考訳(メタデータ) (2023-12-01T04:04:37Z) - Power Hungry Processing: Watts Driving the Cost of AI Deployment? [74.19749699665216]
生成された多目的AIシステムは、機械学習(ML)モデルをテクノロジに構築するための統一的なアプローチを約束する。
この「一般性」の野心は、これらのシステムが必要とするエネルギー量と放出する炭素量を考えると、環境に急激なコストがかかる。
これらのモデルを用いて,代表的なベンチマークデータセット上で1,000の推論を行うのに必要なエネルギーと炭素の量として,デプロイメントコストを測定した。
本稿は、多目的MLシステムの展開動向に関する議論から締めくくり、エネルギーと排出の面でコストの増大に対して、その実用性はより意図的に重み付けされるべきである、と警告する。
論文 参考訳(メタデータ) (2023-11-28T15:09:36Z) - EVE: Environmental Adaptive Neural Network Models for Low-power Energy
Harvesting System [8.16411986220709]
環境からエネルギーを回収するエネルギー収穫技術は、これらのデバイスを動かすための電池に代わる有望な選択肢だ。
本稿では,エネルギ収穫用IoTデバイスを共有重み付きで検索する機械学習フレームワークであるEVEを提案する。
実験結果から、EVEが生成するニューラルネットワークモデルは、プルーニングや共有重みのないベースラインモデルよりも平均2.5倍高速であることがわかった。
論文 参考訳(メタデータ) (2022-07-14T20:53:46Z) - Energy-efficient Deployment of Deep Learning Applications on Cortex-M
based Microcontrollers using Deep Compression [1.4050836886292872]
本稿では,資源制約されたマイクロコントローラ上でのディープラーニングモデルの効率的な展開について検討する。
本稿では,異なるDNNプルーニング,量子化,展開戦略の体系的な探索手法を提案する。
予測品質が低下する前に、元のパラメータの10%以下まで圧縮できることが示される。
論文 参考訳(メタデータ) (2022-05-20T10:55:42Z) - Pervasive Machine Learning for Smart Radio Environments Enabled by
Reconfigurable Intelligent Surfaces [56.35676570414731]
Reconfigurable Intelligent Surfaces(RIS)の新たな技術は、スマート無線環境の実現手段として準備されている。
RISは、無線媒体上の電磁信号の伝搬を動的に制御するための、高度にスケーラブルで低コストで、ハードウェア効率が高く、ほぼエネルギーニュートラルなソリューションを提供する。
このような再構成可能な無線環境におけるRISの密配置に関する大きな課題の1つは、複数の準曲面の効率的な構成である。
論文 参考訳(メタデータ) (2022-05-08T06:21:33Z) - YONO: Modeling Multiple Heterogeneous Neural Networks on
Microcontrollers [10.420617367363047]
YONOは製品量子化(PQ)ベースのアプローチで、複数の異種モデルを圧縮し、インメモリモデルの実行と切り替えを可能にする。
YONOは、複数の異種モデルを無視できるか、または12.37$times$まで精度を損なわないで圧縮できるので、優れた性能を示している。
論文 参考訳(メタデータ) (2022-03-08T01:24:36Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳(メタデータ) (2022-01-18T13:59:22Z) - Prune2Edge: A Multi-Phase Pruning Pipelines to Deep Ensemble Learning in
IIoT [0.0]
IIoTデバイス上での学習をアンサンブルするためのエッジベースのマルチフェーズ・プルーニングパイプラインを提案する。
第1フェーズでは、様々なプルーンドモデルのアンサンブルを生成し、次いで整数量子化を適用し、次にクラスタリングに基づく手法を用いて生成されたアンサンブルをプルークする。
提案手法は,ベースラインモデルの予測可能性レベルより優れていた。
論文 参考訳(メタデータ) (2020-04-09T17:44:34Z) - Risk-Aware Energy Scheduling for Edge Computing with Microgrid: A
Multi-Agent Deep Reinforcement Learning Approach [82.6692222294594]
マイクログリッドを用いたMECネットワークにおけるリスク対応エネルギースケジューリング問題について検討する。
ニューラルネットワークを用いたマルチエージェントディープ強化学習(MADRL)に基づくアドバンテージアクター・クリティック(A3C)アルゴリズムを適用し,その解を導出する。
論文 参考訳(メタデータ) (2020-02-21T02:14:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。