論文の概要: Adaptive AI: Energy Efficient Multi-exit TinyML on Intelligent Vision Systems at the Edge
- arxiv url: http://arxiv.org/abs/2609.11939v1
- Date: Tue, 07 Jul 2026 08:48:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.495608
- Title: Adaptive AI: Energy Efficient Multi-exit TinyML on Intelligent Vision Systems at the Edge
- Title(参考訳): Adaptive AI:エッジにおけるインテリジェントビジョンシステムにおけるエネルギー効率の良いマルチエグジットTinyML
- Abstract要約: エッジデバイス向けの従来のTinyMLシステムは、一定数の乗算累積(MAC)演算を必要とする固定深度モデルに依存することにより、高い精度を達成する。
このアプローチは、バッテリ駆動のIoT(Internet-of-Things)デバイスにおいて重要なリソースを無駄にし、エッジサイバー物理システムのリアルタイムパフォーマンスを制限する。
我々は、ImageNet-100分類タスクのためのMobileNetV2畳み込みニューラルネットワーク(CNN)上で、新しいマルチエクイット計算方式を導入する。
- 参考スコア(独自算出の注目度): 46.72621664884568
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Traditional TinyML systems for edge devices achieve high accuracy by relying on fixed-depth models that require a constant number of multiply-accumulate (MAC) operations regardless of the input complexity. This approach wastes critical resources in battery-powered Internet-of-Things (IoT) devices and limits the real-time performance of edge cyber-physical systems. Multi-exit execution schemes mitigate these issues and are widely used on high-end devices such as GPUs, but are rarely exploited on edge IoT devices because they require substantial rethinking given their strict memory and computational constraints. We address these aspects by designing and deploying, on an ultra-low-power GWT GAP9 System-on-Chip (SoC), a novel multi-exit computational scheme, demonstrating it on a MobileNetV2 convolutional neural network (CNN) for the ImageNet-100 classification task. Our approach introduces multiple exits at different CNN depths, each with a confidence-based gating mechanism that dynamically and autonomously decides whether to continue or stop inference. Comparing our multi-exit strategy to the standard MobileNetV2 on a GAP9 SoC, we show a 41% reduction in the average computational cost (from 313 MMAC to 185 MMAC), a 29% lower inference time (from 49 to 35 ms), and an energy saving of 24% (from 2.1 to 1.6 mJ per frame). All these improvements come with a ~1% loss in accuracy compared to the full-depth MobileNetV2, which achieves 80.5%. Finally, comparing our adaptable multi-exit scheme with a third-party state-of-the-art adaptive CNN, also deployed on the GAP9, we achieve more than 2x its computational efficiency, increasing it from 8.1 to 17.2 MAC/cycle.
- Abstract(参考訳): エッジデバイス向けの従来のTinyMLシステムは、入力複雑性に関係なく一定数の乗算累積(MAC)演算を必要とする固定深度モデルに依存することにより、高い精度を達成する。
このアプローチは、バッテリ駆動のIoT(Internet-of-Things)デバイスにおいて重要なリソースを無駄にし、エッジサイバー物理システムのリアルタイムパフォーマンスを制限する。
マルチエグジット実行スキームはこれらの問題を緩和し、GPUのようなハイエンドデバイスで広く使用されているが、厳格なメモリと計算上の制約を考え直す必要があるため、エッジIoTデバイスで悪用されることは滅多にない。
我々は,超低消費電力のGWT GAP9 System-on-Chip (SoC) を設計・デプロイし,画像Net-100分類タスクのためのMobileNetV2畳み込みニューラルネットワーク(CNN)上でこれを実証する。
提案手法では,複数のエグジットを異なるCNN深さで導入し,それぞれが動的かつ自律的に推論を継続するか停止するかを決定する信頼に基づくゲーティング機構を備える。
GAP9 SoC上の標準MobileNetV2と比較して、平均計算コスト(313 MMACから185 MMAC)が41%減少し、推論時間が29%低く(49から35 ms)、省エネが24%(フレームあたり2.1から1.6 mJ)であった。
これらの改善は、全深度MobileNetV2の80.5%に比べて、精度が約1%低下している。
最後に、当社の適応可能なマルチエグジットスキームと、同じくGAP9上にデプロイされたサードパーティの最先端適応CNNを比較し、計算効率を2倍以上に向上させ、MAC/サイクルを8.1から17.2に増やした。
関連論文リスト
- EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for
Mobile Vision Applications [68.35683849098105]
入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。
1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。
パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
論文 参考訳(メタデータ) (2022-06-21T17:59:56Z) - PhiNets: a scalable backbone for low-power AI at the edge [2.7910505923792646]
PhiNetsは、リソース制約のあるプラットフォーム上でのディープラーニングベースの画像処理に最適化された、スケーラブルなバックボーンである。
PhiNetは計算コスト、動作メモリ、パラメータメモリを分離するために特別に設計された逆残差ブロックに基づいている。
STM32H743マイクロコントローラをベースとしたプロトタイプノードへのアプローチを実証する。
論文 参考訳(メタデータ) (2021-10-01T12:03:25Z) - DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and
Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。
我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文 参考訳(メタデータ) (2021-09-21T09:57:21Z) - MicroNet: Improving Image Recognition with Extremely Low FLOPs [82.54764264255505]
疎結合性と動的アクティベーション関数の2つの要因が,精度向上に有効であることがわかった。
非線形性を改善するために動的シフトマックスと呼ばれる新しい動的アクティベーション関数を提案する。
私たちはMicroNetというネットワークのファミリに到達し、低FLOP体制下での最先端技術に対して大きなパフォーマンス向上を実現しています。
論文 参考訳(メタデータ) (2021-08-12T17:59:41Z) - Greedy Network Enlarging [53.319011626986004]
本稿では,計算のリアルタイム化に基づくグリーディ・ネットワーク拡大手法を提案する。
異なる段階の計算をステップバイステップで修正することで、拡張されたネットワークはMACの最適な割り当てと利用を提供する。
GhostNetへの我々の手法の適用により、最先端の80.9%と84.3%のImageNet Top-1アキュラシーを実現する。
論文 参考訳(メタデータ) (2021-07-31T08:36:30Z) - Sound Event Detection with Binary Neural Networks on Tightly
Power-Constrained IoT Devices [20.349809458335532]
サウンドイベント検出(SED)は、消費者およびスマートシティアプリケーションのホットトピックです。
Deep Neural Networksに基づく既存のアプローチは非常に効果的ですが、メモリ、電力、スループットの面で非常に要求が高いです。
本稿では,高エネルギー効率なRISC-V(8+1)コアGAP8マイクロコントローラと,極端量子化と小プリントバイナリニューラルネットワーク(BNN)の組み合わせについて検討する。
論文 参考訳(メタデータ) (2021-01-12T12:38:23Z) - DORY: Automatic End-to-End Deployment of Real-World DNNs on Low-Cost IoT
MCUs [6.403349961091506]
低コストのMCUベースのエンドノードはオンチップメモリが限られており、キャッシュをスクラッチパッドで置き換えることが多い。
DORYは、通常1MB以下のオンチップメモリを持つ低価格のMCUにデプロイする自動ツールである。
論文 参考訳(メタデータ) (2020-08-17T07:30:54Z) - Q-EEGNet: an Energy-Efficient 8-bit Quantized Parallel EEGNet
Implementation for Edge Motor-Imagery Brain--Machine Interfaces [16.381467082472515]
運動画像脳-機械インタフェース(MI-BMI)は、人間の脳と機械間の直接的かつアクセス可能なコミュニケーションをプロミットする。
脳波信号を分類するためのディープラーニングモデルが登場した。
これらのモデルは、メモリと計算要求のため、エッジデバイスの限界を超えることが多い。
論文 参考訳(メタデータ) (2020-04-24T12:29:03Z) - Pre-defined Sparsity for Low-Complexity Convolutional Neural Networks [9.409651543514615]
この研究は、フィルタ内で定期的に繰り返されるサポートセットを持つ、事前に定義されたスパース2Dカーネルを持つ畳み込みレイヤを導入している。
周期的なスパースカーネルの効率的な保存のため、パラメータの節約はエネルギー効率を大幅に向上させることができる。
論文 参考訳(メタデータ) (2020-01-29T07:10:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。