論文の概要: T-RECX: Tiny-Resource Efficient Convolutional Neural Networks with
Early-Exit
- arxiv url: http://arxiv.org/abs/2207.06613v1
- Date: Thu, 14 Jul 2022 02:05:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-15 13:41:02.027266
- Title: T-RECX: Tiny-Resource Efficient Convolutional Neural Networks with
Early-Exit
- Title（参考訳）: T-RECX: 早期出力によるTiny-Resource高効率畳み込みニューラルネットワーク
- Authors: Nikhil P Ghanathe, Steve Wilton
- Abstract要約: littleMLの能力は、厳格なパワーと計算の制約によって制限されている。
本稿では,最先端の小型CNNにアーリーエグゼクトを追加することの課題について論じる。
最終出口におけるネットワークオーバー思考の効果を緩和する手法を開発した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deploying Machine learning (ML) on the milliwatt-scale edge devices (tinyML)
is gaining popularity due to recent breakthroughs in ML and IoT. However, the
capabilities of tinyML are restricted by strict power and compute constraints.
The majority of the contemporary research in tinyML focuses on model
compression techniques such as model pruning and quantization to fit ML models
on low-end devices. Nevertheless, the improvements in energy consumption and
inference time obtained by existing techniques are limited because aggressive
compression quickly shrinks model capacity and accuracy. Another approach to
improve inference time and/or reduce power while preserving its model capacity
is through early-exit networks. These networks place intermediate classifiers
along a baseline neural network that facilitate early exit from neural network
computation if an intermediate classifier exhibits sufficient confidence in its
prediction. Previous work on early-exit networks have focused on large
networks, beyond what would typically be used for tinyML applications. In this
paper, we discuss the challenges of adding early-exits to state-of-the-art
tiny-CNNs and devise an early-exit architecture, T-RECX, that addresses these
challenges. In addition, we develop a method to alleviate the effect of network
overthinking at the final exit by leveraging the high-level representations
learned by the early-exit. We evaluate T-RECX on three CNNs from the MLPerf
tiny benchmark suite for image classification, keyword spotting and visual wake
word detection tasks. Our results demonstrate that T-RECX improves the accuracy
of baseline network and significantly reduces the average inference time of
tiny-CNNs. T-RECX achieves 32.58% average reduction in FLOPS in exchange for 1%
accuracy across all evaluated models. Also, our techniques increase the
accuracy of baseline network in two out of three models we evaluate
- Abstract（参考訳）: ミリワット規模のエッジデバイス(tinyML)に機械学習(ML)をデプロイすることは、MLとIoTの最近のブレークスルーによって人気を集めている。
しかし、SmallMLの能力は厳格なパワーと計算の制約によって制限されている。
littleMLにおける現代の研究の大部分は、ローエンドデバイスにMLモデルを適合させるためにモデルプルーニングや量子化のようなモデル圧縮技術に焦点を当てている。
しかし, 積極圧縮によりモデル容量と精度が急速に低下するため, 既存の技術によるエネルギー消費と推定時間の改善は限られている。
モデルのキャパシティを保ちながら推論時間や消費電力を削減しようとする別のアプローチは、アーリーエクイットネットワークである。
これらのネットワークは中間分類器をベースラインニューラルネットワークに沿って配置し、中間分類器がその予測に十分な信頼性を示す場合、ニューラルネットワーク計算からの早期離脱を容易にする。
アーリーエグジットネットワークに関するこれまでの研究は、小さなMLアプリケーションで一般的に使用されるもの以外の大きなネットワークに焦点を当てていた。
本稿では,最先端の小型CNNに早期排他性を加えることの課題について論じ,これらの課題に対処する早期排他的アーキテクチャT-RECXを考案する。
さらに,アーリーエクイットが学習したハイレベル表現を活用し,最終出口におけるネットワークオーバー思考の効果を緩和する手法を開発した。
画像分類,キーワードスポッティング,視覚覚醒単語検出のためのベンチマークスイートMLPerfの3つのCNN上でのT-RECXを評価する。
この結果から,T-RECXはベースラインネットワークの精度を向上し,小型CNNの平均推定時間を著しく短縮することがわかった。
T-RECXは、評価モデル全体で1%の精度でFLOPSを平均32.58%削減する。
また,評価した3つのモデルのうち2つのベースラインネットワークの精度も向上する。
関連論文リスト
- Boosting Low-Data Instance Segmentation by Unsupervised Pre-training
with Saliency Prompt [103.58323875748427]
この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。
近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。
実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
論文 参考訳（メタデータ） (2023-02-02T15:49:03Z) - TinyMIM: An Empirical Study of Distilling MIM Pre-trained Models [31.16595289223858]
マスク付き画像モデリング(MIM)は、事前学習大型視覚変換器(ViT)に強く貢献する
しかし、現実世界のアプリケーションにとって重要な小さなモデルは、この事前学習アプローチの恩恵を受けることはできない。
我々は,MIMをベースとした大規模プレトレーニングモデルの成功を,より小さなモデルに伝達する蒸留技術について検討する。
論文 参考訳（メタデータ） (2023-01-03T18:59:54Z) - Part-Based Models Improve Adversarial Robustness [57.699029966800644]
人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。
我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。
実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
論文 参考訳（メタデータ） (2022-09-15T15:41:47Z) - Large-Margin Representation Learning for Texture Classification [67.94823375350433]
本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。
テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
論文 参考訳（メタデータ） (2022-06-17T04:07:45Z) - Focal Sparse Convolutional Networks for 3D Object Detection [121.45950754511021]
我々はスパースCNNの能力を高めるために2つの新しいモジュールを導入する。
焦点スパース・コンボリューション(Focals Conv)であり、焦点スパース・コンボリューションの多様変種である。
スパース・コンボリューションにおける空間的に学習可能な空間空間性は,高度な3次元物体検出に不可欠であることを示す。
論文 参考訳（メタデータ） (2022-04-26T17:34:10Z) - Real-time Human Detection Model for Edge Devices [0.0]
畳み込みニューラルネットワーク(CNN)は、検出と分類タスクにおいて、従来の特徴抽出と機械学習モデルを置き換える。
最近、リアルタイムタスクのために軽量CNNモデルが導入されている。
本稿では,Raspberry Piのような限られたエッジデバイスに適合するCNNベースの軽量モデルを提案する。
論文 参考訳（メタデータ） (2021-11-20T18:42:17Z) - Network Augmentation for Tiny Deep Learning [73.57192520534585]
ニューラルネットワークの性能向上のための新しいトレーニング手法であるNetAug(Net Aug)を紹介する。
画像分類と物体検出におけるNetAugの有効性を示す。
論文 参考訳（メタデータ） (2021-10-17T18:48:41Z) - Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。
実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文 参考訳（メタデータ） (2021-06-18T01:03:13Z) - The Case for High-Accuracy Classification: Think Small, Think Many! [4.817521691828748]
簡単な色特徴の組み合わせに基づく効率的で軽量な深層分類アンサンブル構造を提案する。
評価の結果,resnet-50モデルと比較して予測精度が大幅に向上した。
論文 参考訳（メタデータ） (2021-03-18T16:15:31Z) - Neural Model-based Optimization with Right-Censored Observations [42.530925002607376]
ニューラルネットワーク(NN)は、モデルベースの最適化手順のコアでうまく機能することが実証されている。
トレーニングされた回帰モデルは,いくつかのベースラインよりも優れた予測品質が得られることを示す。
論文 参考訳（メタデータ） (2020-09-29T07:32:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。