論文の概要: Quantitative Analysis of Image Classification Techniques for
Memory-Constrained Devices
- arxiv url: http://arxiv.org/abs/2005.04968v4
- Date: Sun, 15 Nov 2020 15:36:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-04 20:01:38.027109
- Title: Quantitative Analysis of Image Classification Techniques for
Memory-Constrained Devices
- Title(参考訳): メモリ制約デバイスにおける画像分類手法の定量的解析
- Authors: Sebastian M\"uksch, Theo Olausson, John Wilhelm, Pavlos Andreadis
- Abstract要約: 畳み込みニューラルネットワーク(英: Convolutional Neural Networks、CNN)は、画像分類の最先端技術であるが、通常、大きなメモリフットプリントのコストがかかる。
本稿では,CNNとProtoNN,Bonsai,FastGRNNを比較し,CIFAR-10を用いた3チャンネル画像分類に適用する。
直接畳み込みCNNは選択した全ての予算に対して最高の性能を示し、最高性能は65.7%、メモリフットプリントは58.23KBである。
- 参考スコア(独自算出の注目度): 0.7373617024876725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional Neural Networks, or CNNs, are the state of the art for image
classification, but typically come at the cost of a large memory footprint.
This limits their usefulness in applications relying on embedded devices, where
memory is often a scarce resource. Recently, there has been significant
progress in the field of image classification on such memory-constrained
devices, with novel contributions like the ProtoNN, Bonsai and FastGRNN
algorithms. These have been shown to reach up to 98.2% accuracy on optical
character recognition using MNIST-10, with a memory footprint as little as 6KB.
However, their potential on more complex multi-class and multi-channel image
classification has yet to be determined. In this paper, we compare CNNs with
ProtoNN, Bonsai and FastGRNN when applied to 3-channel image classification
using CIFAR-10. For our analysis, we use the existing Direct Convolution
algorithm to implement the CNNs memory-optimally and propose new methods of
adjusting the FastGRNN model to work with multi-channel images. We extend the
evaluation of each algorithm to a memory size budget of 8KB, 16KB, 32KB, 64KB
and 128KB to show quantitatively that Direct Convolution CNNs perform best for
all chosen budgets, with a top performance of 65.7% accuracy at a memory
footprint of 58.23KB.
- Abstract(参考訳): 畳み込みニューラルネットワーク(英: Convolutional Neural Networks、CNN)は、画像分類の最先端技術であるが、通常、大きなメモリフットプリントのコストがかかる。
これにより、メモリが希少なリソースである組み込みデバイスに依存するアプリケーションでの有用性が制限される。
近年,メモリ制限されたデバイスにおける画像分類の分野では,ProtoNNやBonsai,FastGRNNといった新しいコントリビューションによって大きな進歩を遂げている。
これらはmnist-10を用いた光文字認識において最大98.2%の精度に達し、メモリフットプリントは最大6kbである。
しかし、より複雑なマルチクラスおよびマルチチャネル画像分類の可能性はまだ決定されていない。
本稿では,CNNとProtoNN,Bonsai,FastGRNNを比較し,CIFAR-10を用いた3チャンネル画像分類に適用する。
我々は,既存のDirect Convolutionアルゴリズムを用いてCNNをメモリ最適化して実装し,FastGRNNモデルをマルチチャネル画像で動作するように調整する方法を提案する。
我々は,各アルゴリズムの評価を 8KB, 16KB, 32KB, 64KB, 128KB のメモリサイズ予算まで拡張し,ダイレクトコンボリューション CNN が選択した全ての予算に対して最高の性能を示し,最高性能は 58.23KB のメモリフットプリントで65.7% の精度で達成した。
関連論文リスト
- Development of a Novel Quantum Pre-processing Filter to Improve Image
Classification Accuracy of Neural Network Models [1.2965700352825555]
本稿では,ニューラルネットワーク(NN)モデルの画像分類精度を向上させるために,新しい量子前処理フィルタ(QPF)を提案する。
その結果,MNIST (手書き10桁) とEMNIST (手書き47桁と文字) のデータセットに基づく画像分類精度を向上させることができた。
しかし,43種類の実生活交通標識画像を用いた比較的複雑なGTSRBデータセットに対するQPF手法による検証の結果,分類精度の低下が認められた。
論文 参考訳(メタデータ) (2023-08-22T01:27:04Z) - Sub-bit Neural Networks: Learning to Compress and Accelerate Binary
Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。
SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。
ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文 参考訳(メタデータ) (2021-10-18T11:30:29Z) - Greedy Network Enlarging [53.319011626986004]
本稿では,計算のリアルタイム化に基づくグリーディ・ネットワーク拡大手法を提案する。
異なる段階の計算をステップバイステップで修正することで、拡張されたネットワークはMACの最適な割り当てと利用を提供する。
GhostNetへの我々の手法の適用により、最先端の80.9%と84.3%のImageNet Top-1アキュラシーを実現する。
論文 参考訳(メタデータ) (2021-07-31T08:36:30Z) - Low-Power Multi-Camera Object Re-Identification using Hierarchical
Neural Networks [9.884285377021044]
最先端技術は大規模で計算集約的なディープニューラルネットワーク(DNN)に依存している
トレーニングデータセットの属性ラベルを用いて効率的なオブジェクトreIDを実行する新しい階層型DNNアーキテクチャを提案する。
74%のメモリ削減、72%のオペレーション削減、67%のクエリレイテンシ削減、65%のエネルギー消費削減を実現しています。
論文 参考訳(メタデータ) (2021-06-19T23:59:26Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳(メタデータ) (2021-06-18T03:11:15Z) - ActNN: Reducing Training Memory Footprint via 2-Bit Activation
Compressed Training [68.63354877166756]
ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。
ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
論文 参考訳(メタデータ) (2021-04-29T05:50:54Z) - A Deeper Look into Convolutions via Pruning [9.89901717499058]
現代のアーキテクチャは、複数のレイヤの畳み込みの後、しばしば最後に、非常に少数の完全に接続されたレイヤを含んでいる。
この戦略はすでにパラメータの数を削減しているが、ほとんどの畳み込みは認識性能を損なうことなく排除できる。
本研究では,従来の重みに基づく重み付け手法に加えて,固有値に基づく行列特性を用いて,広く使用されているCNNファミリーの内部機構に光を当てる。
論文 参考訳(メタデータ) (2021-02-04T18:55:03Z) - CNNs for JPEGs: A Study in Computational Cost [49.97673761305336]
畳み込みニューラルネットワーク(CNN)は過去10年間で驚くべき進歩を遂げてきた。
CNNはRGBピクセルから直接データの堅牢な表現を学習することができる。
近年,圧縮領域から直接学習できる深層学習手法が注目されている。
論文 参考訳(メタデータ) (2020-12-26T15:00:10Z) - Resource-efficient DNNs for Keyword Spotting using Neural Architecture
Search and Quantization [23.850887499271842]
本稿では,キーワードスポッティングのための小さなモデルの自動発見のためのニューラルアーキテクチャサーチ(NAS)を提案する。
nas法を用いて畳み込みニューラルネットワーク(cnns)の構造を最適化し,分類精度を最大化する。
NASのみを使用して、Google音声コマンドデータセットで95.4%の精度で高効率なモデルを得ることができた。
論文 参考訳(メタデータ) (2020-12-18T09:53:55Z) - Leveraging Automated Mixed-Low-Precision Quantization for tiny edge
microcontrollers [76.30674794049293]
本稿では、HAQフレームワークに基づく自動混合精度量子化フローを提案するが、MCUデバイスのメモリおよび計算特性に特化している。
具体的には、強化学習エージェントは、個々の重みとアクティベーションテンソルの2, 4, 8ビットのうち、最高の均一量子化レベルを探索する。
重量のみの量子化のために2MBに制限されたMCUクラスのメモリが与えられた場合、混合精度エンジンによって生成された圧縮されたモデルは、最先端のソリューションと同じくらい正確である。
論文 参考訳(メタデータ) (2020-08-12T06:09:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。