論文の概要: Depth Pruning with Auxiliary Networks for TinyML

• arxiv url: http://arxiv.org/abs/2204.10546v1
• Date: Fri, 22 Apr 2022 07:34:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-25 12:58:39.556978
• Title: Depth Pruning with Auxiliary Networks for TinyML
• Title（参考訳）: TinyMLのための補助ネットワークによる深さ決定
• Authors: Josen Daniel De Leon and Rowel Atienza
• Abstract要約: プルーニング(Pruning)は、低い計算要求と引き換えに精度を犠牲にするニューラルネットワーク最適化手法である。 本稿では,中間特徴写像の効率的なインタプリタとして,高効率な補助ネットワークを利用する改良を提案する。 Cortex-M0マイクロコントローラで評価すると,提案手法はVWWモデルのサイズを4.7倍,レイテンシを1.6倍削減し,直感的に精度を1%向上させる。
• 参考スコア（独自算出の注目度）: 15.118059441365343
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Pruning is a neural network optimization technique that sacrifices accuracy in exchange for lower computational requirements. Pruning has been useful when working with extremely constrained environments in tinyML. Unfortunately, special hardware requirements and limited study on its effectiveness on already compact models prevent its wider adoption. Depth pruning is a form of pruning that requires no specialized hardware but suffers from a large accuracy falloff. To improve this, we propose a modification that utilizes a highly efficient auxiliary network as an effective interpreter of intermediate feature maps. Our results show a parameter reduction of 93% on the MLPerfTiny Visual Wakewords (VWW) task and 28% on the Keyword Spotting (KWS) task with accuracy cost of 0.65% and 1.06% respectively. When evaluated on a Cortex-M0 microcontroller, our proposed method reduces the VWW model size by 4.7x and latency by 1.6x while counter intuitively gaining 1% accuracy. KWS model size on Cortex-M0 was also reduced by 1.2x and latency by 1.2x at the cost of 2.21% accuracy.
• Abstract（参考訳）: プルーニングは、低い計算要求と引き換えに精度を犠牲にするニューラルネットワーク最適化技術である。 プルーニングは、非常に制約のある環境をtinymlで処理する場合に有用である。 残念ながら、特別なハードウェア要件と、既にコンパクトなモデルにおけるその有効性に関する限定的な研究は、より広範な採用を妨げる。 深さプルーニングは特別なハードウェアを必要としないが、高い精度のフォールオフに苦しむプルーニングの一種である。 これを改善するために、中間特徴写像の効果的なインタプリタとして高効率な補助ネットワークを利用する修正を提案する。 その結果, MLPerfTiny Visual Wakewords (VWW) タスクでは93%, Keyword Spotting (KWS) タスクでは28%, 精度は0.65%, 1.06%であった。 Cortex-M0マイクロコントローラで評価すると,提案手法はVWWモデルのサイズを4.7倍,レイテンシを1.6倍削減し,直感的に精度を1%向上させる。 Cortex-M0のKWSモデルのサイズも1.2倍、レイテンシは1.2倍、精度は2.21%だった。

関連論文リスト

• Advancing On-Device Neural Network Training with TinyPropv2: Dynamic, Sparse, and Efficient Backpropagation [0.4747685035960513]
  この研究は、ディープニューラルネットワークにおけるデバイス上での学習を最適化する革新的なアルゴリズムであるTinyPropv2を紹介する。 TinyPropv2はスパースバックプロパゲーションをダイナミックに調整することで洗練する。 TinyPropv2は完全なトレーニング手法でほぼ平準化を実現しており、ほとんどのケースでは平均的な精度低下は1%程度である。
  論文  参考訳（メタデータ） (2024-09-11T08:56:13Z)
• Joint Pruning and Channel-wise Mixed-Precision Quantization for Efficient Deep Neural Networks [10.229120811024162]
  ディープニューラルネットワーク(DNN)は、エッジデバイスへのデプロイメントに重大な課題をもたらす。 この問題に対処する一般的なアプローチは、プルーニングと混合精度量子化である。 そこで本研究では,軽量な勾配探索を用いて共同で適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T08:07:02Z)
• Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
  本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。 局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。 特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
  論文  参考訳（メタデータ） (2023-09-29T13:09:40Z)
• EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications [68.35683849098105]
  入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。 1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。 パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2022-06-21T17:59:56Z)
• PP-PicoDet: A Better Real-Time Object Detector on Mobile Devices [13.62426382827205]
  実時間物体検出器のPP-PicoDetファミリは,モバイルデバイスの物体検出において優れた性能を発揮する。 モデルは、他の一般的なモデルと比較して、精度とレイテンシのトレードオフを改善する。
  論文  参考訳（メタデータ） (2021-11-01T12:53:17Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
  ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。 現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。 提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
  論文  参考訳（メタデータ） (2021-03-08T03:09:37Z)
• Hessian-Aware Pruning and Optimal Neural Implant [74.3282611517773]
  プルーニングは、ニューラルネットワークモデルに関連するメモリフットプリントとフラップを減らす効果的な方法である。 構造的プルーニングの指標として2次感度を用いたニューラルインプラントアプローチと組み合わされた新しいヘッセン認識プルーニング法を提案する。
  論文  参考訳（メタデータ） (2021-01-22T04:08:03Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)
• Pre-defined Sparsity for Low-Complexity Convolutional Neural Networks [9.409651543514615]
  この研究は、フィルタ内で定期的に繰り返されるサポートセットを持つ、事前に定義されたスパース2Dカーネルを持つ畳み込みレイヤを導入している。 周期的なスパースカーネルの効率的な保存のため、パラメータの節約はエネルギー効率を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2020-01-29T07:10:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。