論文の概要: EfficientNet-eLite: Extremely Lightweight and Efficient CNN Models for
Edge Devices by Network Candidate Search
- arxiv url: http://arxiv.org/abs/2009.07409v1
- Date: Wed, 16 Sep 2020 01:11:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 00:13:14.196403
- Title: EfficientNet-eLite: Extremely Lightweight and Efficient CNN Models for
Edge Devices by Network Candidate Search
- Title（参考訳）: EfficientNet-eLite:ネットワーク候補探索によるエッジデバイスのための超軽量かつ効率的なCNNモデル
- Authors: Ching-Chen Wang, Ching-Te Chiu, Jheng-Yi Chang
- Abstract要約: 本稿では,資源使用量と性能のトレードオフを研究するために,ネットワーク候補探索(NCS)を提案する。
実験では,EfficientNet-B0から候補CNNモデルを収集し,幅,深さ,入力解像度,複合スケールダウンなど,様々な方法でスケールダウンする。
Application-Specific Integrated Circuit (ASIC)でCNNエッジアプリケーションをさらに採用するために、EfficientNet-eLiteのアーキテクチャを調整し、よりハードウェアフレンドリなバージョンであるEfficientNet-HFを構築します。
- 参考スコア（独自算出の注目度）: 13.467017642143583
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Embedding Convolutional Neural Network (CNN) into edge devices for inference
is a very challenging task because such lightweight hardware is not born to
handle this heavyweight software, which is the common overhead from the modern
state-of-the-art CNN models. In this paper, targeting at reducing the overhead
with trading the accuracy as less as possible, we propose a novel of Network
Candidate Search (NCS), an alternative way to study the trade-off between the
resource usage and the performance through grouping concepts and elimination
tournament. Besides, NCS can also be generalized across any neural network. In
our experiment, we collect candidate CNN models from EfficientNet-B0 to be
scaled down in varied way through width, depth, input resolution and compound
scaling down, applying NCS to research the scaling-down trade-off. Meanwhile, a
family of extremely lightweight EfficientNet is obtained, called
EfficientNet-eLite. For further embracing the CNN edge application with
Application-Specific Integrated Circuit (ASIC), we adjust the architectures of
EfficientNet-eLite to build the more hardware-friendly version,
EfficientNet-HF. Evaluation on ImageNet dataset, both proposed
EfficientNet-eLite and EfficientNet-HF present better parameter usage and
accuracy than the previous start-of-the-art CNNs. Particularly, the smallest
member of EfficientNet-eLite is more lightweight than the best and smallest
existing MnasNet with 1.46x less parameters and 0.56% higher accuracy. Code is
available at https://github.com/Ching-Chen-Wang/EfficientNet-eLite
- Abstract（参考訳）: 畳み込みニューラルネットワーク(cnn)をエッジデバイスに組み込んで推論するのは非常に難しい作業です。なぜなら、このような軽量なハードウェアは、このヘビーウェイトなソフトウェアを扱うために生まれていないからです。
本稿では,精度を極力下げてオーバーヘッドを削減することを目的としたネットワーク候補探索(ncs)を提案する。
さらに、NASは任意のニューラルネットワークで一般化することもできる。
実験では,提案するCNNモデルを,幅,深さ,入力解像度,複合スケールダウンなど,多種多様な方法でスケールダウンし,スケールダウントレードオフの研究にNCSを適用した。
一方、非常に軽量な efficientnet ファミリーが efficientnet-elite と呼ばれる。
Application-Specific Integrated Circuit (ASIC)でCNNエッジアプリケーションをさらに採用するために、EfficientNet-eLiteのアーキテクチャを調整し、よりハードウェアフレンドリなバージョンであるEfficientNet-HFを構築します。
ImageNetデータセットの評価では、提案したEfficientNet-eLiteとEfficientNet-HFは、従来のCNNよりも優れたパラメータ使用率と精度を示す。
特に、EfficientNet-eLiteの最小メンバーは、最大かつ最小のMnasNetよりも軽量で、パラメータは1.46倍少なく、精度は0.56%高い。
コードはhttps://github.com/Ching-Chen-Wang/EfficientNet-eLiteで入手できる。
関連論文リスト
- Lightweight Pixel Difference Networks for Efficient Visual
Representation Learning [20.345417462198725]
emphPixel Different Convolution (PDC) と Binary PDC (Bi-PDC) という2種類の新しいコンボリューションを提案する。
エッジ検出やオブジェクト認識などの視覚的タスクに対して,高効率かつ高精度な表現を学習するために,emphPixel Different Networks (PiDiNet) とemph Binary PiDiNet (Bi-PiDiNet) という2つの軽量ディープネットワークを提案する。
論文 参考訳（メタデータ） (2024-02-01T08:39:31Z) - Enhancing Small Object Encoding in Deep Neural Networks: Introducing
Fast&Focused-Net with Volume-wise Dot Product Layer [0.0]
我々は、小さなオブジェクトを固定長特徴ベクトルに符号化するのに適した、新しいディープニューラルネットワークアーキテクチャであるFast&Focused-Netを紹介する。
Fast&Focused-Netは、CNNのいくつかの固有の制限に対処するために設計された、新たに提案された一連のレイヤであるVDP(Volume-wise Dot Product)レイヤを採用しています。
CIFAR-10, CIFAR-100, STL-10, SVHN-Cropped, Fashion-MNISTなどのデータセットでは, オブジェクト分類タスクにおいて, ネットワークが最先端の手法よりも優れていた。
画像分類における変換器エンコーダ(ViT)と組み合わせた場合
論文 参考訳（メタデータ） (2024-01-18T09:31:25Z) - MogaNet: Multi-order Gated Aggregation Network [64.16774341908365]
我々は,識別的視覚的表現学習のために,MogaNetと呼ばれる現代ConvNetの新たなファミリーを提案する。
MogaNetは概念的に単純だが効果的な畳み込みをカプセル化し、集約をコンパクトモジュールに集約する。
MogaNetは、ImageNetの最先端のViTやConvNetと比較して、優れたスケーラビリティ、パラメータの大幅な効率、競争性能を示している。
論文 参考訳（メタデータ） (2022-11-07T04:31:17Z) - BCNet: Searching for Network Width with Bilaterally Coupled Network [56.14248440683152]
この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。
BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。
提案手法は,他のベースライン手法と比較して,最先端あるいは競合的な性能を実現する。
論文 参考訳（メタデータ） (2021-05-21T18:54:03Z) - Lite-HRNet: A Lightweight High-Resolution Network [97.17242913089464]
人間のポーズ推定に有効な高分解能ネットワークLite-HRNetを提案する。
シャッフルブロックにおける高用量(1x1)の畳み込みが計算ボトルネックとなる。
シャッフルブロックにおけるコストのかかる(1x1)畳み込みを置き換えるために,軽量な条件付きチャネル重み付けを導入する。
論文 参考訳（メタデータ） (2021-04-13T17:59:31Z) - AdderNet and its Minimalist Hardware Design for Energy-Efficient
Artificial Intelligence [111.09105910265154]
アドラー畳み込みニューラルネットワーク(AdderNet)を用いた新しいミニマリストハードウェアアーキテクチャを提案する。
AdderNet全体の16%の高速化を実現している。
我々は、AdderNetが他の競争相手を追い越せると結論付けている。
論文 参考訳（メタデータ） (2021-01-25T11:31:52Z) - Model Rubik's Cube: Twisting Resolution, Depth and Width for TinyNets [65.28292822614418]
解像度、深さ、幅を同時に拡大する巨大な公式は、ニューラルネットワークのためのルービックキューブを提供する。
本稿では,最小モデルサイズと計算コストで深層ニューラルネットワークを得るためのツイストルールを検討することを目的とする。
論文 参考訳（メタデータ） (2020-10-28T08:49:45Z) - LRNNet: A Light-Weighted Network with Efficient Reduced Non-Local
Operation for Real-Time Semantic Segmentation [15.010572800399057]
本稿では,高効率かつリアルタイムなセマンティックセマンティックセグメンテーションを実現するために,LRNNetを用いた軽量ネットワークを提案する。
実験では、軽量、スピード、計算、精度のトレードオフが優れています。
論文 参考訳（メタデータ） (2020-06-04T08:55:15Z) - DRU-net: An Efficient Deep Convolutional Neural Network for Medical
Image Segmentation [2.3574651879602215]
残留ネットワーク(ResNet)と密結合ネットワーク(DenseNet)は、ディープ畳み込みニューラルネットワーク(DCNN)のトレーニング効率と性能を大幅に改善した。
両ネットワークの利点を考慮した効率的なネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-04-28T12:16:24Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳（メタデータ） (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。