論文の概要: Dynamic ConvNets on Tiny Devices via Nested Sparsity

• arxiv url: http://arxiv.org/abs/2203.03324v1
• Date: Mon, 7 Mar 2022 12:07:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 17:06:55.884188
• Title: Dynamic ConvNets on Tiny Devices via Nested Sparsity
• Title（参考訳）: Nested SparsityによるTinyデバイス上の動的ConvNet
• Authors: Matteo Grimaldi, Luca Mocerino, Antonio Cipolletta, Andrea Calimera
• Abstract要約: この作業では、Nested Sparse ConvNetsを構築するための、新たなトレーニングと圧縮パイプラインが導入されている。 Nested Sparse ConvNetは、Nのスパースサブネットワークとネストウェイトサブセットを含む単一のConvNetアーキテクチャで構成されている。 ARM-M7マイクロコントローラユニットのイメージ分類とオブジェクト検出タスクのテスト。
• 参考スコア（独自算出の注目度）: 3.0313758880048765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work introduces a new training and compression pipeline to build Nested Sparse ConvNets, a class of dynamic Convolutional Neural Networks (ConvNets) suited for inference tasks deployed on resource-constrained devices at the edge of the Internet-of-Things. A Nested Sparse ConvNet consists of a single ConvNet architecture containing N sparse sub-networks with nested weights subsets, like a Matryoshka doll, and can trade accuracy for latency at run time, using the model sparsity as a dynamic knob. To attain high accuracy at training time, we propose a gradient masking technique that optimally routes the learning signals across the nested weights subsets. To minimize the storage footprint and efficiently process the obtained models at inference time, we introduce a new sparse matrix compression format with dedicated compute kernels that fruitfully exploit the characteristic of the nested weights subsets. Tested on image classification and object detection tasks on an off-the-shelf ARM-M7 Micro Controller Unit (MCU), Nested Sparse ConvNets outperform variable-latency solutions naively built assembling single sparse models trained as stand-alone instances, achieving (i) comparable accuracy, (ii) remarkable storage savings, and (iii) high performance. Moreover, when compared to state-of-the-art dynamic strategies, like dynamic pruning and layer width scaling, Nested Sparse ConvNets turn out to be Pareto optimal in the accuracy vs. latency space.
• Abstract（参考訳）: この研究は、インターネット・オブ・シングスの端にあるリソース制約されたデバイスにデプロイされる推論タスクに適した、動的畳み込みニューラルネットワーク(convnets)のクラスであるnested sparse convnetsを構築するための、新しいトレーニングと圧縮パイプラインを導入する。 nested sparse convnetは、matryoshka dollのようなnested weightsサブセットを持つnのスパースサブネットワークを含む単一のconvnetアーキテクチャで構成されており、モデルのスパース性を動的ノブとして使用することで、実行時のレイテンシをトレードオフできる。 トレーニング時に高い精度を達成するために,ネスト重み部分集合に学習信号を最適にルーティングする勾配マスキング手法を提案する。 ストレージフットプリントを最小化し、推定時に得られるモデルを効率的に処理するために、ネスト重みサブセットの特性を実効的に活用する専用計算カーネルを備えた新しいスパース行列圧縮フォーマットを導入する。 arm-m7マイクロコントローラユニット(mcu)のイメージ分類とオブジェクト検出タスクでテストされたnested sparse convnetsは、スタンドアロンインスタンスとしてトレーニングされた単一のスパースモデルを組み立てることで、可変遅延ソリューションよりも優れている。 (i)同等の精度。 (二)ストレージの大幅な節約、及び (iii)ハイパフォーマンス。 さらに、動的プルーニングや層幅スケーリングといった最先端の動的戦略と比較すると、Nested Sparse ConvNetsは、精度とレイテンシ空間の精度でPareto最適であることが判明した。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• HyperZ$\cdot$Z$\cdot$W Operator Connects Slow-Fast Networks for Full Context Interaction [0.0]
  自己注意機構は、ドット製品ベースのアクティベーションを通じてプログラムされた大きな暗黙の重み行列を利用して、訓練可能なパラメータがほとんどないため、長いシーケンスモデリングを可能にする。 本稿では,ネットワークの各層におけるコンテキストの完全な相互作用を実現するために,大きな暗黙のカーネルを用いて残差学習を破棄する可能性について検討する。 このモデルにはいくつかの革新的なコンポーネントが組み込まれており、遅いネットワークを更新するための局所的なフィードバックエラー、安定なゼロ平均機能、より高速なトレーニング収束、より少ないモデルパラメータなど、優れた特性を示している。
  論文  参考訳（メタデータ） (2024-01-31T15:57:21Z)
• Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
  LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。 3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。 これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
  論文  参考訳（メタデータ） (2023-08-30T10:57:41Z)
• A Low-Complexity Approach to Rate-Distortion Optimized Variable Bit-Rate Compression for Split DNN Computing [5.3221129103999125]
  分散コンピューティングは、DNNベースのAIワークロードを実装するための最近のパラダイムとして登場した。 本稿では,レート・精度・複雑さのトレードオフを最適化する上での課題に対処するアプローチを提案する。 我々のアプローチは、トレーニングと推論の両方において非常に軽量であり、非常に効果的であり、高い速度歪曲性能を実現する。
  論文  参考訳（メタデータ） (2022-08-24T15:02:11Z)
• DRESS: Dynamic REal-time Sparse Subnets [7.76526807772015]
  我々は、新しいトレーニングアルゴリズム、Dynamic REal-time Sparse Subnets (DRESS)を提案する。 DRESSは、同じバックボーンネットワークから行ベースの非構造空間を通して複数のサブネットワークをサンプリングし、重み付けされた損失と並行してこれらのサブネットワークを共同で訓練する。 公開ビジョンデータセットの実験では、DRESSは最先端のサブネットワークよりもはるかに精度が高いことが示されている。
  論文  参考訳（メタデータ） (2022-07-01T22:05:07Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Compact Multi-level Sparse Neural Networks with Input Independent Dynamic Rerouting [33.35713740886292]
  疎いディープニューラルネットワークは、モデルの複雑さとメモリ消費を大幅に減らすことができる。 現実の課題に直面する中で,複数のスパースレベルをサポートするスパースモデルをトレーニングすることを提案する。 このようにして、推論中に適切なスパーシティレベルを動的に選択でき、ストレージコストを最小のスパースサブモデルで抑えることができる。
  論文  参考訳（メタデータ） (2021-12-21T01:35:51Z)
• Optimising for Interpretability: Convolutional Dynamic Alignment Networks [108.83345790813445]
  我々は、畳み込み動的アライメントネットワーク(CoDA Nets)と呼ばれる新しいニューラルネットワークモデルを紹介する。 彼らの中核となるビルディングブロックは動的アライメントユニット(DAU)であり、タスク関連パターンに合わせて動的に計算された重みベクトルで入力を変換するように最適化されている。 CoDAネットは一連の入力依存線形変換を通じて分類予測をモデル化し、出力を個々の入力コントリビューションに線形分解することができる。
  論文  参考訳（メタデータ） (2021-09-27T12:39:46Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Dynamic Slimmable Network [105.74546828182834]
  ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。 ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。 静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
  論文  参考訳（メタデータ） (2021-03-24T15:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。