論文の概要: MicroNet: Towards Image Recognition with Extremely Low FLOPs
- arxiv url: http://arxiv.org/abs/2011.12289v1
- Date: Tue, 24 Nov 2020 18:59:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 12:34:33.360401
- Title: MicroNet: Towards Image Recognition with Extremely Low FLOPs
- Title（参考訳）: micronet: 極めて低いフロップによる画像認識に向けて
- Authors: Yunsheng Li and Yinpeng Chen and Xiyang Dai and Dongdong Chen and
Mengchen Liu and Lu Yuan and Zicheng Liu and Lei Zhang and Nuno Vasconcelos
- Abstract要約: MicroNetは計算コストの極めて低い効率的な畳み込みニューラルネットワークである。
MicroNetのファミリは、低いFLOP体制における最先端技術よりも大きなパフォーマンス向上を実現している。
例えば、MicroNet-M1は12のMFLOPを持つImageNet分類において61.1%のトップ-1の精度を達成し、MobileNetV3を11.3%上回っている。
- 参考スコア（独自算出の注目度）: 117.96848315180407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present MicroNet, which is an efficient convolutional
neural network using extremely low computational cost (e.g. 6 MFLOPs on
ImageNet classification). Such a low cost network is highly desired on edge
devices, yet usually suffers from a significant performance degradation. We
handle the extremely low FLOPs based upon two design principles: (a) avoiding
the reduction of network width by lowering the node connectivity, and (b)
compensating for the reduction of network depth by introducing more complex
non-linearity per layer. Firstly, we propose Micro-Factorized convolution to
factorize both pointwise and depthwise convolutions into low rank matrices for
a good tradeoff between the number of channels and input/output connectivity.
Secondly, we propose a new activation function, named Dynamic Shift-Max, to
improve the non-linearity via maxing out multiple dynamic fusions between an
input feature map and its circular channel shift. The fusions are dynamic as
their parameters are adapted to the input. Building upon Micro-Factorized
convolution and dynamic Shift-Max, a family of MicroNets achieve a significant
performance gain over the state-of-the-art in the low FLOP regime. For
instance, MicroNet-M1 achieves 61.1% top-1 accuracy on ImageNet classification
with 12 MFLOPs, outperforming MobileNetV3 by 11.3%.
- Abstract（参考訳）: 本稿では,超低計算コスト(イメージネット分類における6つのMFLOPなど)を用いた効率的な畳み込みニューラルネットワークであるMicroNetを提案する。
このような低価格ネットワークはエッジデバイスでは非常に望ましいが、通常は大幅なパフォーマンス低下に苦しむ。
極めて低いFLOPを2つの設計原則に基づいて処理します。
(a)ノード接続を低くすることでネットワーク幅の削減を回避し、
b) 層ごとにより複雑な非線形性を導入することによりネットワーク深さの低減を補正する。
まず, チャネル数と入出力接続のトレードオフを良好にするため, ポイントワイズと深さ方向の畳み込みを低ランク行列に分解するマイクロファクタリング畳み込みを提案する。
次に,入力特徴マップと円チャンネルシフトとの複数の動的融合を最大化することで非線形性を改善する,dynamic shift-maxと呼ばれる新しい活性化関数を提案する。
それらのパラメータが入力に適合するので、融合は動的である。
micro-factorized convolutionとdynamic shift-maxをベースにしたマイクロネットのファミリは、低フロップ体制の最先端よりも大きなパフォーマンス向上を達成している。
例えば、micronet-m1は12mflopsのimagenet分類で61.1%のtop-1精度を達成し、mobilenetv3を11.3%上回った。
関連論文リスト
- Accelerating Deep Neural Networks via Semi-Structured Activation
Sparsity [0.0]
ネットワークの機能マップにスパシティを爆発させることは、推論のレイテンシを低減する方法の1つです。
そこで本研究では,セミ構造化されたアクティベーション空間を小さなランタイム修正によって活用する手法を提案する。
当社のアプローチでは,ImageNetデータセット上のResNet18モデルに対して,最小精度が1.1%の1.25倍の速度向上を実現している。
論文 参考訳（メタデータ） (2023-09-12T22:28:53Z) - Efficient Deep Spiking Multi-Layer Perceptrons with Multiplication-Free Inference [13.924924047051782]
スパイキングニューラルネットワーク(SNN)の深部畳み込みアーキテクチャは、画像分類性能を大幅に向上し、計算負荷を低減した。
本研究は、MLP(Multi-Layer Perceptrons)の進歩からインスピレーションを得て、新しい経路を探求する。
MFIの互換性を維持するためにバッチ正規化を用いる革新的なスパイクアーキテクチャを提案する。
我々は,グローバルな受容場と局所的な特徴抽出を効果的に組み合わせた,効率的なマルチステージスパイクネットワークを構築した。
論文 参考訳（メタデータ） (2023-06-21T16:52:20Z) - RevBiFPN: The Fully Reversible Bidirectional Feature Pyramid Network [3.54359747576165]
RevSiloは、最初の可逆的マルチスケール機能融合モジュールである。
完全に可逆な双方向特徴ピラミッドネットワークであるRevBiFPNを開発した。
RevBiFPNは、少ないMACと2.4倍のトレーニング時間メモリを使用して、HRNet上のAPを最大2.5%向上させる。
論文 参考訳（メタデータ） (2022-06-28T15:48:05Z) - DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and
Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。
我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文 参考訳（メタデータ） (2021-09-21T09:57:21Z) - MicroNet: Improving Image Recognition with Extremely Low FLOPs [82.54764264255505]
疎結合性と動的アクティベーション関数の2つの要因が,精度向上に有効であることがわかった。
非線形性を改善するために動的シフトマックスと呼ばれる新しい動的アクティベーション関数を提案する。
私たちはMicroNetというネットワークのファミリに到達し、低FLOP体制下での最先端技術に対して大きなパフォーマンス向上を実現しています。
論文 参考訳（メタデータ） (2021-08-12T17:59:41Z) - Pruning Neural Networks with Interpolative Decompositions [5.377278489623063]
本稿では,ニューラルネットワークのプルーニングに対する原理的アプローチを導入し,その問題を低ランク行列近似として定式化する。
まず、プリミティブのセットを構築して、1つの完全に接続された畳み込み層をプルークする方法を実証する。
我々は,CIFAR-10上でVGG-16を用いて93.62$pm$0.36%の精度を実現し,FLOPSを51%削減した。
論文 参考訳（メタデータ） (2021-07-30T20:13:49Z) - FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。
現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。
提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文 参考訳（メタデータ） (2021-03-08T03:09:37Z) - When Residual Learning Meets Dense Aggregation: Rethinking the
Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。
我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文 参考訳（メタデータ） (2020-04-19T08:34:52Z) - ReActNet: Towards Precise Binary Neural Network with Generalized
Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。
まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。
提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2020-03-07T02:12:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。