論文の概要: T-RECX: Tiny-Resource Efficient Convolutional neural networks with early-eXit

• arxiv url: http://arxiv.org/abs/2207.06613v2
• Date: Wed, 26 Apr 2023 23:09:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-28 17:25:08.708109
• Title: T-RECX: Tiny-Resource Efficient Convolutional neural networks with early-eXit
• Title（参考訳）: T-RECX:早期eXitを用いたTiny-Resource効率的な畳み込みニューラルネットワーク
• Authors: Nikhil P Ghanathe, Steve Wilton
• Abstract要約: 本稿では,早期出口中間分類器の追加により早期出口中間分類器が拡張可能であることを示す。 我々の技術は、小型CNNモデルに特化している。 その結果, T-RecX 1) はベースラインネットワークの精度を向上し, 2) FLOPS の平均 31.58% の削減を実現した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deploying Machine learning (ML) on milliwatt-scale edge devices (tinyML) is gaining popularity due to recent breakthroughs in ML and Internet of Things (IoT). Most tinyML research focuses on model compression techniques that trade accuracy (and model capacity) for compact models to fit into the KB-sized tiny-edge devices. In this paper, we show how such models can be enhanced by the addition of an early exit intermediate classifier. If the intermediate classifier exhibits sufficient confidence in its prediction, the network exits early thereby, resulting in considerable savings in time. Although early exit classifiers have been proposed in previous work, these previous proposals focus on large networks, making their techniques suboptimal/impractical for tinyML applications. Our technique is optimized specifically for tiny-CNN sized models. In addition, we present a method to alleviate the effect of network overthinking by leveraging the representations learned by the early exit. We evaluate T-RecX on three CNNs from the MLPerf tiny benchmark suite for image classification, keyword spotting and visual wake word detection tasks. Our results show that T-RecX 1) improves the accuracy of baseline network, 2) achieves 31.58% average reduction in FLOPS in exchange for one percent accuracy across all evaluated models. Furthermore, we show that our methods consistently outperform popular prior works on the tiny-CNNs we evaluate.
• Abstract（参考訳）: ミリワット規模のエッジデバイス(tinyML)に機械学習(ML)をデプロイすることは、最近のMLとIoT(Internet of Things)のブレークスルーによって人気を集めている。 多くの小さなML研究は、KBサイズの小型デバイスに収まるコンパクトモデルの精度(およびモデル容量)を交換するモデル圧縮技術に焦点を当てている。 本稿では,早期出口中間分類器の追加により,そのようなモデルをどのように拡張できるかを示す。 中間分類器がその予測に十分な信頼性を示した場合、ネットワークは早期に終了し、時間的にかなりの節約となる。 初期のエグジット分類器は以前の研究で提案されていたが、これらの提案は大規模ネットワークにフォーカスしており、tinymlアプリケーションではそのテクニックが最適/非現実的になっている。 本手法は小型cnnモデルに特化している。 また,早期出口で学習した表現を活用することで,ネットワーク再考の効果を緩和する手法を提案する。 画像分類,キーワードスポッティング,視覚覚醒単語検出のためのベンチマークスイートMLPerfの3つのCNN上でのT-RecXを評価する。 我々の結果は、T-RecXが 1)ベースラインネットワークの精度を向上させる。 2) FLOPSを平均31.58%削減し, 全モデルで1%の精度で評価した。 さらに,提案手法は,評価対象の小型CNNにおいて,従来よりも常に優れていた。

関連論文リスト

• Boosting Low-Data Instance Segmentation by Unsupervised Pre-training with Saliency Prompt [103.58323875748427]
  この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。 近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。 実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2023-02-02T15:49:03Z)
• TinyMIM: An Empirical Study of Distilling MIM Pre-trained Models [31.16595289223858]
  マスク付き画像モデリング(MIM)は、事前学習大型視覚変換器(ViT)に強く貢献する しかし、現実世界のアプリケーションにとって重要な小さなモデルは、この事前学習アプローチの恩恵を受けることはできない。 我々は,MIMをベースとした大規模プレトレーニングモデルの成功を,より小さなモデルに伝達する蒸留技術について検討する。
  論文  参考訳（メタデータ） (2023-01-03T18:59:54Z)
• Part-Based Models Improve Adversarial Robustness [57.699029966800644]
  人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。 我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。 実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T15:41:47Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• Focal Sparse Convolutional Networks for 3D Object Detection [121.45950754511021]
  我々はスパースCNNの能力を高めるために2つの新しいモジュールを導入する。 焦点スパース・コンボリューション(Focals Conv)であり、焦点スパース・コンボリューションの多様変種である。 スパース・コンボリューションにおける空間的に学習可能な空間空間性は,高度な3次元物体検出に不可欠であることを示す。
  論文  参考訳（メタデータ） (2022-04-26T17:34:10Z)
• Real-time Human Detection Model for Edge Devices [0.0]
  畳み込みニューラルネットワーク(CNN)は、検出と分類タスクにおいて、従来の特徴抽出と機械学習モデルを置き換える。 最近、リアルタイムタスクのために軽量CNNモデルが導入されている。 本稿では,Raspberry Piのような限られたエッジデバイスに適合するCNNベースの軽量モデルを提案する。
  論文  参考訳（メタデータ） (2021-11-20T18:42:17Z)
• Network Augmentation for Tiny Deep Learning [73.57192520534585]
  ニューラルネットワークの性能向上のための新しいトレーニング手法であるNetAug(Net Aug)を紹介する。 画像分類と物体検出におけるNetAugの有効性を示す。
  論文  参考訳（メタデータ） (2021-10-17T18:48:41Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• The Case for High-Accuracy Classification: Think Small, Think Many! [4.817521691828748]
  簡単な色特徴の組み合わせに基づく効率的で軽量な深層分類アンサンブル構造を提案する。 評価の結果,resnet-50モデルと比較して予測精度が大幅に向上した。
  論文  参考訳（メタデータ） (2021-03-18T16:15:31Z)
• Neural Model-based Optimization with Right-Censored Observations [42.530925002607376]
  ニューラルネットワーク(NN)は、モデルベースの最適化手順のコアでうまく機能することが実証されている。 トレーニングされた回帰モデルは,いくつかのベースラインよりも優れた予測品質が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T07:32:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。