論文の概要: Quantitative Analysis of Image Classification Techniques for Memory-Constrained Devices

• arxiv url: http://arxiv.org/abs/2005.04968v4
• Date: Sun, 15 Nov 2020 15:36:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-04 20:01:38.027109
• Title: Quantitative Analysis of Image Classification Techniques for Memory-Constrained Devices
• Title（参考訳）: メモリ制約デバイスにおける画像分類手法の定量的解析
• Authors: Sebastian M\"uksch, Theo Olausson, John Wilhelm, Pavlos Andreadis
• Abstract要約: 畳み込みニューラルネットワーク(英: Convolutional Neural Networks、CNN)は、画像分類の最先端技術であるが、通常、大きなメモリフットプリントのコストがかかる。 本稿では,CNNとProtoNN,Bonsai,FastGRNNを比較し,CIFAR-10を用いた3チャンネル画像分類に適用する。 直接畳み込みCNNは選択した全ての予算に対して最高の性能を示し、最高性能は65.7%、メモリフットプリントは58.23KBである。
• 参考スコア（独自算出の注目度）: 0.7373617024876725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional Neural Networks, or CNNs, are the state of the art for image classification, but typically come at the cost of a large memory footprint. This limits their usefulness in applications relying on embedded devices, where memory is often a scarce resource. Recently, there has been significant progress in the field of image classification on such memory-constrained devices, with novel contributions like the ProtoNN, Bonsai and FastGRNN algorithms. These have been shown to reach up to 98.2% accuracy on optical character recognition using MNIST-10, with a memory footprint as little as 6KB. However, their potential on more complex multi-class and multi-channel image classification has yet to be determined. In this paper, we compare CNNs with ProtoNN, Bonsai and FastGRNN when applied to 3-channel image classification using CIFAR-10. For our analysis, we use the existing Direct Convolution algorithm to implement the CNNs memory-optimally and propose new methods of adjusting the FastGRNN model to work with multi-channel images. We extend the evaluation of each algorithm to a memory size budget of 8KB, 16KB, 32KB, 64KB and 128KB to show quantitatively that Direct Convolution CNNs perform best for all chosen budgets, with a top performance of 65.7% accuracy at a memory footprint of 58.23KB.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(英: Convolutional Neural Networks、CNN)は、画像分類の最先端技術であるが、通常、大きなメモリフットプリントのコストがかかる。 これにより、メモリが希少なリソースである組み込みデバイスに依存するアプリケーションでの有用性が制限される。 近年,メモリ制限されたデバイスにおける画像分類の分野では,ProtoNNやBonsai,FastGRNNといった新しいコントリビューションによって大きな進歩を遂げている。 これらはmnist-10を用いた光文字認識において最大98.2%の精度に達し、メモリフットプリントは最大6kbである。 しかし、より複雑なマルチクラスおよびマルチチャネル画像分類の可能性はまだ決定されていない。 本稿では,CNNとProtoNN,Bonsai,FastGRNNを比較し,CIFAR-10を用いた3チャンネル画像分類に適用する。 我々は,既存のDirect Convolutionアルゴリズムを用いてCNNをメモリ最適化して実装し,FastGRNNモデルをマルチチャネル画像で動作するように調整する方法を提案する。 我々は,各アルゴリズムの評価を 8KB, 16KB, 32KB, 64KB, 128KB のメモリサイズ予算まで拡張し,ダイレクトコンボリューション CNN が選択した全ての予算に対して最高の性能を示し,最高性能は 58.23KB のメモリフットプリントで65.7% の精度で達成した。

関連論文リスト

• Recurrent Neural Networks for Still Images [0.0]
  我々は、RNNが静止画をシーケンスとして解釈することで効果的に処理できることを論じる。 本稿では、画像などの2次元入力に適した新しいRNN設計と、従来の実装よりもメモリ効率が高いBiDirectional RNN(BiRNN)のカスタムバージョンを紹介する。
  論文  参考訳（メタデータ） (2024-09-10T06:07:20Z)
• Designing Extremely Memory-Efficient CNNs for On-device Vision Tasks [2.9835839258066015]
  デバイス上での視覚タスクにメモリ効率の良いCNN(畳み込みニューラルネットワーク)を導入する。 提案したネットワークは、競合するトップ1の精度(61.58%)を達成しつつ、非常に低いメモリ(63KB)でImageNetを分類する。 我々の知る限り、提案するネットワークのメモリ使用量は最先端のメモリ効率ネットワークよりもはるかに少ない。
  論文  参考訳（メタデータ） (2024-08-07T10:04:04Z)
• A Methodology for Improving Accuracy of Embedded Spiking Neural Networks through Kernel Size Scaling [6.006032394972252]
  Spiking Neural Networks(SNN)は、機械学習ベースのアプリケーションに対して、超低電力/エネルギー消費を提供する。 現在、ほとんどのSNNアーキテクチャはより高精度なモデルサイズを必要とする。 本稿では,カーネルサイズスケーリングによるSNNの精度向上手法を提案する。
  論文  参考訳（メタデータ） (2024-04-02T06:42:14Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Greedy Network Enlarging [53.319011626986004]
  本稿では,計算のリアルタイム化に基づくグリーディ・ネットワーク拡大手法を提案する。 異なる段階の計算をステップバイステップで修正することで、拡張されたネットワークはMACの最適な割り当てと利用を提供する。 GhostNetへの我々の手法の適用により、最先端の80.9%と84.3%のImageNet Top-1アキュラシーを実現する。
  論文  参考訳（メタデータ） (2021-07-31T08:36:30Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• CNNs for JPEGs: A Study in Computational Cost [49.97673761305336]
  畳み込みニューラルネットワーク(CNN)は過去10年間で驚くべき進歩を遂げてきた。 CNNはRGBピクセルから直接データの堅牢な表現を学習することができる。 近年,圧縮領域から直接学習できる深層学習手法が注目されている。
  論文  参考訳（メタデータ） (2020-12-26T15:00:10Z)
• Resource-efficient DNNs for Keyword Spotting using Neural Architecture Search and Quantization [23.850887499271842]
  本稿では,キーワードスポッティングのための小さなモデルの自動発見のためのニューラルアーキテクチャサーチ(NAS)を提案する。 nas法を用いて畳み込みニューラルネットワーク(cnns)の構造を最適化し,分類精度を最大化する。 NASのみを使用して、Google音声コマンドデータセットで95.4%の精度で高効率なモデルを得ることができた。
  論文  参考訳（メタデータ） (2020-12-18T09:53:55Z)
• Leveraging Automated Mixed-Low-Precision Quantization for tiny edge microcontrollers [76.30674794049293]
  本稿では、HAQフレームワークに基づく自動混合精度量子化フローを提案するが、MCUデバイスのメモリおよび計算特性に特化している。 具体的には、強化学習エージェントは、個々の重みとアクティベーションテンソルの2, 4, 8ビットのうち、最高の均一量子化レベルを探索する。 重量のみの量子化のために2MBに制限されたMCUクラスのメモリが与えられた場合、混合精度エンジンによって生成された圧縮されたモデルは、最先端のソリューションと同じくらい正確である。
  論文  参考訳（メタデータ） (2020-08-12T06:09:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。