論文の概要: Shifting Capsule Networks from the Cloud to the Deep Edge
- arxiv url: http://arxiv.org/abs/2110.02911v1
- Date: Wed, 6 Oct 2021 16:52:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-07 14:36:19.539560
- Title: Shifting Capsule Networks from the Cloud to the Deep Edge
- Title（参考訳）: カプセルネットワークをクラウドからディープエッジに移行する
- Authors: Miguel Costa, Diogo Costa, Tiago Gomes, Sandro Pinto
- Abstract要約: 本稿では,Cortex-MおよびRISC-V MCUにおける量子化CapsNetの実行のためのAPIを提案する。
その結果、メモリフットプリントが75%近く減少し、最大精度が1%低下した。
スループットに関しては、Arm Cortex-M用のソフトウェアカーネルは、NVIDIA GTX 980 Tiグラフィックカード上で動作するプリ量子化CapsNetよりも少なくとも5.70倍高速です。
- 参考スコア（独自算出の注目度）: 0.9712140341805068
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Capsule networks (CapsNets) are an emerging trend in image processing. In
contrast to a convolutional neural network, CapsNets are not vulnerable to
object deformation, as the relative spatial information of the objects is
preserved across the network. However, their complexity is mainly related with
the capsule structure and the dynamic routing mechanism, which makes it almost
unreasonable to deploy a CapsNet, in its original form, in a
resource-constrained device powered by a small microcontroller (MCU). In an era
where intelligence is rapidly shifting from the cloud to the edge, this high
complexity imposes serious challenges to the adoption of CapsNets at the very
edge. To tackle this issue, we present an API for the execution of quantized
CapsNets in Cortex-M and RISC-V MCUs. Our software kernels extend the Arm
CMSIS-NN and RISC-V PULP-NN, to support capsule operations with 8-bit integers
as operands. Along with it, we propose a framework to perform post training
quantization of a CapsNet. Results show a reduction in memory footprint of
almost 75%, with a maximum accuracy loss of 1%. In terms of throughput, our
software kernels for the Arm Cortex-M are, at least, 5.70x faster than a
pre-quantized CapsNet running on an NVIDIA GTX 980 Ti graphics card. For
RISC-V, the throughout gain increases to 26.28x and 56.91x for a single- and
octa-core configuration, respectively.
- Abstract（参考訳）: カプセルネットワーク(capsnets)は画像処理の新たなトレンドである。
畳み込みニューラルネットワークとは対照的に、CapsNetはオブジェクトの相対空間情報がネットワーク全体に保存されるため、オブジェクトの変形に対して脆弱ではない。
しかし、その複雑さは主にカプセル構造と動的ルーティング機構に関係しており、小さなマイクロコントローラ(MCU)を動力とするリソース制約されたデバイスにCapsNetを元の形式で展開することはほとんど不可能である。
知性がクラウドからエッジへと急速にシフトしている今、この高い複雑性は、最先端のcapsnetsの採用に深刻な課題を課している。
この問題に対処するため,Cortex-MおよびRISC-V MCUにおける量子化CapsNetの実行APIを提案する。
ソフトウェアカーネルはArm CMSIS-NNとRISC-V PULP-NNを拡張し、8ビット整数をオペランドとしてカプセル操作をサポートする。
また,CapsNetのポストトレーニング量子化を行うためのフレームワークを提案する。
その結果、メモリフットプリントは75%近く減少し、最大精度の損失は1%であった。
スループットに関しては、Arm Cortex-M用のソフトウェアカーネルは、NVIDIA GTX 980 Tiグラフィックカード上で動作するプリ量子化CapsNetよりも少なくとも5.70倍高速です。
risc-vでは、全利得はそれぞれ26.28xと56.91xに増大する。
関連論文リスト
- UniRepLKNet: A Universal Perception Large-Kernel ConvNet for Audio, Video, Point Cloud, Time-Series and Image Recognition [61.01408259741114]
大規模なカーネルベースの畳み込みニューラルネットワーク(ConvNets)を設計するための4つのアーキテクチャガイドラインを提案する。
提案する大規模カーネルベースのConvNetは,画像認識における主要な性能を示す。
大規模なカーネルが、もともと熟練していないドメインにおいて、ConvNetの例外的なパフォーマンスを解放する鍵であることを発見した。
論文 参考訳（メタデータ） (2023-11-27T07:48:50Z) - PDR-CapsNet: an Energy-Efficient Parallel Approach to Dynamic Routing in
Capsule Networks [0.27195102129095]
畳み込みニューラルネットワーク(CNN)は、画像分類タスクの最先端の結果を生み出している。
しかし、CapsNetsは複雑なデータセットに乏しく、CNNよりも多くの計算リソースを必要とすることが多い。
本稿では,PDR-CapsNetの代替として,Parallel Dynamic Routing CapsNet(PDR-CapsNet)を紹介した。
パラメータは87.26%、パラメータは32.27%、MACは47.40%、Flopsは87.26%、精度は83.55%です。
論文 参考訳（メタデータ） (2023-10-04T23:38:09Z) - InceptionNeXt: When Inception Meets ConvNeXt [167.61042926444105]
IncepitonNeXtと呼ばれる一連のネットワークを構築し、高いスループットを享受するだけでなく、競争性能も維持しています。
InceptionNeXtはConvNeX-Tよりも1.6倍高いトレーニングスループットを実現し、ImageNet-1Kでは0.2%の精度向上を実現している。
論文 参考訳（メタデータ） (2023-03-29T17:59:58Z) - MogaNet: Multi-order Gated Aggregation Network [64.16774341908365]
我々は,識別的視覚的表現学習のために,MogaNetと呼ばれる現代ConvNetの新たなファミリーを提案する。
MogaNetは概念的に単純だが効果的な畳み込みをカプセル化し、集約をコンパクトモジュールに集約する。
MogaNetは、ImageNetの最先端のViTやConvNetと比較して、優れたスケーラビリティ、パラメータの大幅な効率、競争性能を示している。
論文 参考訳（メタデータ） (2022-11-07T04:31:17Z) - More ConvNets in the 2020s: Scaling up Kernels Beyond 51x51 using
Sparsity [103.62784587778037]
最近、いくつかの先進的な畳み込みモデルが、局所的だが大きな注意機構によって動機付けられた大きなカーネルで後退している。
本稿では,51x51カーネルを備えた純粋なCNNアーキテクチャであるSparse Large Kernel Network (SLaK)を提案する。
論文 参考訳（メタデータ） (2022-07-07T23:55:52Z) - Momentum Capsule Networks [0.8594140167290097]
我々はMoCapsNet(Momentum Capsule Network)と呼ばれる新しいネットワークアーキテクチャを提案する。
MoCapsNetは、残留するビルディングブロックを適用するネットワークの一種であるMomentum ResNetsにインスパイアされている。
我々は,MNIST,SVHN,CIFAR-10のベースラインカプセルネットワークの精度をはるかに低めながら,MoCapsNetが精度を上回っていることを示す。
論文 参考訳（メタデータ） (2022-01-26T17:53:18Z) - MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。
本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。
ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文 参考訳（メタデータ） (2021-10-28T17:58:45Z) - Parallel Capsule Networks for Classification of White Blood Cells [1.5749416770494706]
Capsule Networks(CapsNets)は、畳み込みニューラルネットワーク(CNN)の欠点を克服するために提案された機械学習アーキテクチャである。
我々は,特定のカプセルを分離するためにネットワークを分岐するという概念を活用する,新しいアーキテクチャであるCapsNetsを提案する。
論文 参考訳（メタデータ） (2021-08-05T14:30:44Z) - Leveraging Automated Mixed-Low-Precision Quantization for tiny edge
microcontrollers [76.30674794049293]
本稿では、HAQフレームワークに基づく自動混合精度量子化フローを提案するが、MCUデバイスのメモリおよび計算特性に特化している。
具体的には、強化学習エージェントは、個々の重みとアクティベーションテンソルの2, 4, 8ビットのうち、最高の均一量子化レベルを探索する。
重量のみの量子化のために2MBに制限されたMCUクラスのメモリが与えられた場合、混合精度エンジンによって生成された圧縮されたモデルは、最先端のソリューションと同じくらい正確である。
論文 参考訳（メタデータ） (2020-08-12T06:09:58Z) - Q-CapsNets: A Specialized Framework for Quantizing Capsule Networks [12.022910298030219]
Capsule Networks(CapsNets)は、従来のCNNと比較して、画像分類のような機械学習タスクにおいて優れた学習能力を持つ。
CapsNetは、非常に厳しい計算を必要とするため、リソース制約のあるエッジデバイスにおいて、元の形式でのデプロイが困難である。
本稿では,CapsNetモデルの量子化を初めて試み,その効率的なエッジ実装を実現するために,CapsNetの特殊な量子化フレームワークを開発する。
論文 参考訳（メタデータ） (2020-04-15T14:32:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。