論文の概要: TinyM$^2$Net-V3: Memory-Aware Compressed Multimodal Deep Neural Networks for Sustainable Edge Deployment

• arxiv url: http://arxiv.org/abs/2405.12353v1
• Date: Mon, 20 May 2024 20:03:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 14:57:39.908655
• Title: TinyM$^2$Net-V3: Memory-Aware Compressed Multimodal Deep Neural Networks for Sustainable Edge Deployment
• Title（参考訳）: TinyM$^2$Net-V3:サステナブルエッジ展開のためのメモリ対応圧縮マルチモーダルディープニューラルネットワーク
• Authors: Hasib-Al Rashid, Tinoosh Mohsenin,
• Abstract要約: この研究はTinyM$2$Net-V3を導入し、相補的なデータの異なるモジュラリティを処理し、ディープニューラルネットワーク(DNN)モデルを設計し、モデル圧縮技術を採用している。 私たちの小さな機械学習モデルは、リソース制限されたハードウェア上にデプロイされ、ミリ秒以内の低レイテンシと非常に高い電力効率を示しました。
• 参考スコア（独自算出の注目度）: 0.5893124686141782
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advancement of sophisticated artificial intelligence (AI) algorithms has led to a notable increase in energy usage and carbon dioxide emissions, intensifying concerns about climate change. This growing problem has brought the environmental sustainability of AI technologies to the forefront, especially as they expand across various sectors. In response to these challenges, there is an urgent need for the development of sustainable AI solutions. These solutions must focus on energy-efficient embedded systems that are capable of handling diverse data types even in environments with limited resources, thereby ensuring both technological progress and environmental responsibility. Integrating complementary multimodal data into tiny machine learning models for edge devices is challenging due to increased complexity, latency, and power consumption. This work introduces TinyM$^2$Net-V3, a system that processes different modalities of complementary data, designs deep neural network (DNN) models, and employs model compression techniques including knowledge distillation and low bit-width quantization with memory-aware considerations to fit models within lower memory hierarchy levels, reducing latency and enhancing energy efficiency on resource-constrained devices. We evaluated TinyM$^2$Net-V3 in two multimodal case studies: COVID-19 detection using cough, speech, and breathing audios, and pose classification from depth and thermal images. With tiny inference models (6 KB and 58 KB), we achieved 92.95% and 90.7% accuracies, respectively. Our tiny machine learning models, deployed on resource limited hardware, demonstrated low latencies within milliseconds and very high power efficiency.
• Abstract（参考訳）: 高度な人工知能(AI)アルゴリズムの進歩により、エネルギー使用量や二酸化炭素排出量が著しく増加し、気候変動に対する懸念が高まっている。 この増大する問題により、AI技術の環境持続性が最前線に進出した。 これらの課題に対応するため、持続可能なAIソリューションの開発には緊急の必要性がある。 これらのソリューションは、限られた資源を持つ環境でも多様なデータタイプを扱えるエネルギー効率の高い組込みシステムに焦点を合わせ、技術的進歩と環境責任の両立を保証する必要がある。 エッジデバイス用の小さな機械学習モデルに補完的なマルチモーダルデータを統合することは、複雑さ、レイテンシ、消費電力の増加によって困難である。 この研究はTinyM$^2$Net-V3を導入し、相補的なデータの異なるモダリティを処理し、ディープニューラルネットワーク(DNN)モデルを設計し、知識蒸留や低ビット幅量子化を含むモデル圧縮技術を用いて、低メモリ階層レベルにモデルを適合させ、レイテンシを低減し、リソース制約のあるデバイスにおけるエネルギー効率を向上する。 我々はTinyM$^2$Net-V3を2つのマルチモーダルケーススタディで評価した。 小さな推論モデル(6KBと58KB)では、それぞれ92.95%と90.7%の精度を達成した。 私たちの小さな機械学習モデルは、リソース制限されたハードウェア上にデプロイされ、ミリ秒以内の低レイテンシと非常に高い電力効率を示しました。

関連論文リスト

• Two-Timescale Model Caching and Resource Allocation for Edge-Enabled AI-Generated Content Services [55.0337199834612]
  Generative AI(GenAI)は、カスタマイズされたパーソナライズされたAI生成コンテンツ(AIGC)サービスを可能にするトランスフォーメーション技術として登場した。 これらのサービスは数十億のパラメータを持つGenAIモデルの実行を必要とし、リソース制限の無線エッジに重大な障害を生じさせる。 我々は、AIGC品質とレイテンシメトリクスのトレードオフをバランスさせるために、AIGCサービスのジョイントモデルキャッシングとリソースアロケーションの定式化を導入する。
  論文  参考訳（メタデータ） (2024-11-03T07:01:13Z)
• Fine-Tuning and Deploying Large Language Models Over Edges: Issues and Approaches [64.42735183056062]
  大規模言語モデル(LLM)は、特殊モデルから多目的基礎モデルへと移行してきた。 LLMは印象的なゼロショット能力を示すが、ローカルデータセットとデプロイメントのための重要なリソースを微調整する必要がある。
  論文  参考訳（メタデータ） (2024-08-20T09:42:17Z)
• Random resistive memory-based deep extreme point learning machine for unified visual processing [67.51600474104171]
  ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。 我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
  論文  参考訳（メタデータ） (2023-12-14T09:46:16Z)
• Power Hungry Processing: Watts Driving the Cost of AI Deployment? [74.19749699665216]
  生成された多目的AIシステムは、機械学習(ML)モデルをテクノロジに構築するための統一的なアプローチを約束する。 この「一般性」の野心は、これらのシステムが必要とするエネルギー量と放出する炭素量を考えると、環境に急激なコストがかかる。 これらのモデルを用いて,代表的なベンチマークデータセット上で1,000の推論を行うのに必要なエネルギーと炭素の量として,デプロイメントコストを測定した。 本稿は、多目的MLシステムの展開動向に関する議論から締めくくり、エネルギーと排出の面でコストの増大に対して、その実用性はより意図的に重み付けされるべきである、と警告する。
  論文  参考訳（メタデータ） (2023-11-28T15:09:36Z)
• Dynamic Early Exiting Predictive Coding Neural Networks [3.542013483233133]
  より小型で正確なデバイスを求めると、Deep Learningモデルはデプロイするには重すぎる。 予測符号化理論と動的早期退避に基づく浅層双方向ネットワークを提案する。 我々は,CIFAR-10上の画像分類におけるVGG-16と同等の精度を,より少ないパラメータと少ない計算量で達成した。
  論文  参考訳（メタデータ） (2023-09-05T08:00:01Z)
• EVE: Environmental Adaptive Neural Network Models for Low-power Energy Harvesting System [8.16411986220709]
  環境からエネルギーを回収するエネルギー収穫技術は、これらのデバイスを動かすための電池に代わる有望な選択肢だ。 本稿では,エネルギ収穫用IoTデバイスを共有重み付きで検索する機械学習フレームワークであるEVEを提案する。 実験結果から、EVEが生成するニューラルネットワークモデルは、プルーニングや共有重みのないベースラインモデルよりも平均2.5倍高速であることがわかった。
  論文  参考訳（メタデータ） (2022-07-14T20:53:46Z)
• Energy-efficient Deployment of Deep Learning Applications on Cortex-M based Microcontrollers using Deep Compression [1.4050836886292872]
  本稿では,資源制約されたマイクロコントローラ上でのディープラーニングモデルの効率的な展開について検討する。 本稿では,異なるDNNプルーニング,量子化,展開戦略の体系的な探索手法を提案する。 予測品質が低下する前に、元のパラメータの10%以下まで圧縮できることが示される。
  論文  参考訳（メタデータ） (2022-05-20T10:55:42Z)
• Pervasive Machine Learning for Smart Radio Environments Enabled by Reconfigurable Intelligent Surfaces [56.35676570414731]
  Reconfigurable Intelligent Surfaces(RIS)の新たな技術は、スマート無線環境の実現手段として準備されている。 RISは、無線媒体上の電磁信号の伝搬を動的に制御するための、高度にスケーラブルで低コストで、ハードウェア効率が高く、ほぼエネルギーニュートラルなソリューションを提供する。 このような再構成可能な無線環境におけるRISの密配置に関する大きな課題の1つは、複数の準曲面の効率的な構成である。
  論文  参考訳（メタデータ） (2022-05-08T06:21:33Z)
• YONO: Modeling Multiple Heterogeneous Neural Networks on Microcontrollers [10.420617367363047]
  YONOは製品量子化(PQ)ベースのアプローチで、複数の異種モデルを圧縮し、インメモリモデルの実行と切り替えを可能にする。 YONOは、複数の異種モデルを無視できるか、または12.37$times$まで精度を損なわないで圧縮できるので、優れた性能を示している。
  論文  参考訳（メタデータ） (2022-03-08T01:24:36Z)
• Prune2Edge: A Multi-Phase Pruning Pipelines to Deep Ensemble Learning in IIoT [0.0]
  IIoTデバイス上での学習をアンサンブルするためのエッジベースのマルチフェーズ・プルーニングパイプラインを提案する。 第1フェーズでは、様々なプルーンドモデルのアンサンブルを生成し、次いで整数量子化を適用し、次にクラスタリングに基づく手法を用いて生成されたアンサンブルをプルークする。 提案手法は,ベースラインモデルの予測可能性レベルより優れていた。
  論文  参考訳（メタデータ） (2020-04-09T17:44:34Z)
• Risk-Aware Energy Scheduling for Edge Computing with Microgrid: A Multi-Agent Deep Reinforcement Learning Approach [82.6692222294594]
  マイクログリッドを用いたMECネットワークにおけるリスク対応エネルギースケジューリング問題について検討する。 ニューラルネットワークを用いたマルチエージェントディープ強化学習(MADRL)に基づくアドバンテージアクター・クリティック(A3C)アルゴリズムを適用し,その解を導出する。
  論文  参考訳（メタデータ） (2020-02-21T02:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。