論文の概要: GhostNetV2: Enhance Cheap Operation with Long-Range Attention
- arxiv url: http://arxiv.org/abs/2211.12905v1
- Date: Wed, 23 Nov 2022 12:16:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 15:34:57.473412
- Title: GhostNetV2: Enhance Cheap Operation with Long-Range Attention
- Title（参考訳）: ghostnetv2: 長距離注意による安価操作の強化
- Authors: Yehui Tang, Kai Han, Jianyuan Guo, Chang Xu, Chao Xu, Yunhe Wang
- Abstract要約: ハードウェアフレンドリーなアテンション機構(DFCアテンション)を提案し,モバイルアプリケーション用の新しいGhostNetV2アーキテクチャを提案する。
提案したDFCアテンションは、ハードウェア上で高速に動作できるだけでなく、長距離画素間の依存を捉えることができる完全接続層に基づいて構築されている。
さらに,従来のGhostNetのボトルネックを再考し,DFCに着目した安価な操作による機能拡張を提案する。
- 参考スコア（独自算出の注目度）: 59.65543143580889
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Light-weight convolutional neural networks (CNNs) are specially designed for
applications on mobile devices with faster inference speed. The convolutional
operation can only capture local information in a window region, which prevents
performance from being further improved. Introducing self-attention into
convolution can capture global information well, but it will largely encumber
the actual speed. In this paper, we propose a hardware-friendly attention
mechanism (dubbed DFC attention) and then present a new GhostNetV2 architecture
for mobile applications. The proposed DFC attention is constructed based on
fully-connected layers, which can not only execute fast on common hardware but
also capture the dependence between long-range pixels. We further revisit the
expressiveness bottleneck in previous GhostNet and propose to enhance expanded
features produced by cheap operations with DFC attention, so that a GhostNetV2
block can aggregate local and long-range information simultaneously. Extensive
experiments demonstrate the superiority of GhostNetV2 over existing
architectures. For example, it achieves 75.3% top-1 accuracy on ImageNet with
167M FLOPs, significantly suppressing GhostNetV1 (74.5%) with a similar
computational cost. The source code will be available at
https://github.com/huawei-noah/Efficient-AI-Backbones/tree/master/ghostnetv2_pytorch
and https://gitee.com/mindspore/models/tree/master/research/cv/ghostnetv2.
- Abstract（参考訳）: 軽量畳み込みニューラルネットワーク(CNN)は、高速な推論速度を持つモバイルデバイス上のアプリケーション用に特別に設計されている。
畳み込み操作は、ウィンドウ領域内のローカル情報のみをキャプチャできるため、パフォーマンスがさらに向上することがない。
畳み込みに自己注意を導入することは、グローバルな情報をうまく捉えることができる。
本稿では,ハードウェアフレンドリーなアテンション機構(DFCアテンション)を提案し,モバイルアプリケーションのための新しいGhostNetV2アーキテクチャを提案する。
提案したDFCアテンションは、ハードウェア上で高速に動作できるだけでなく、長距離画素間の依存を捉えることができる完全接続層に基づいて構築されている。
我々はさらに,これまでのghostnetにおける表現性ボトルネックを再検討し,dfc注目による安価操作による拡張機能を拡張し,ghostnetv2ブロックがローカル情報と長距離情報を同時に集約できるようにする。
広範な実験により、ghostnetv2が既存のアーキテクチャよりも優れていることが示されている。
例えば、ImageNetで167MのFLOPで75.3%の精度を実現し、同様の計算コストでGhostNetV1 (74.5%) を大幅に抑制した。
ソースコードはhttps://github.com/huawei-noah/Efficient-AI-Backbones/tree/master/ghostnetv2_pytorchとhttps://gitee.com/mindspore/models/tree/master/research/cv/ghostnetv2で入手できる。
関連論文リスト
- FasterViT: Fast Vision Transformers with Hierarchical Attention [63.50580266223651]
我々は、コンピュータビジョン(CV)アプリケーションのための高速スループットに焦点を当てた、FasterViTという名前のハイブリッドCNN-ViTニューラルネットワークの新たなファミリーを設計する。
新たに導入した階層的注意(HAT)アプローチは,グローバルな自己意識を2次複雑性で分解し,計算コストを削減した多面的注意に分解する。
論文 参考訳（メタデータ） (2023-06-09T18:41:37Z) - Run, Don't Walk: Chasing Higher FLOPS for Faster Neural Networks [15.519170283930276]
冗長計算とメモリアクセスを同時に削減し,空間的特徴をより効率的に抽出する新しい部分畳み込み(PConv)を提案する。
当社のPConv上に構築された新しいニューラルネットワークファミリーであるFasterNetも提案しています。
当社の大きなFasterNet-Lは、新興のSwin-Bと同等の8,3.5%の精度で、GPU上での推論スループットは36%高い。
論文 参考訳（メタデータ） (2023-03-07T06:05:30Z) - RepGhost: A Hardware-Efficient Ghost Module via Re-parameterization [13.605461609002539]
機能再利用は、軽量畳み込みニューラルネットワーク(CNN)アーキテクチャ設計において重要な技術である。
現在の手法では、他のレイヤから特徴マップを再利用することで、大容量のチャネル番号を安価に維持するために、連結演算子を利用する。
本稿では、結合ではなく、暗黙的に、より効率的に機能再利用を実現するための新しい視点を提供する。
論文 参考訳（メタデータ） (2022-11-11T09:44:23Z) - PyNet-V2 Mobile: Efficient On-Device Photo Processing With Neural
Networks [115.97113917000145]
エッジデバイス用に設計された新しいPyNET-V2 Mobile CNNアーキテクチャを提案する。
提案アーキテクチャでは,携帯電話から直接RAW 12MPの写真を1.5秒で処理することができる。
提案したアーキテクチャは,最新のモバイルAIアクセラレータとも互換性があることが示されている。
論文 参考訳（メタデータ） (2022-11-08T17:18:01Z) - GhostNets on Heterogeneous Devices via Cheap Operations [129.15798618025127]
本稿では,CPU効率のよいGhost(C-Ghost)モジュールを提案する。
ベンチマーク実験により,提案したC-GhostモジュールとG-Ghostステージの有効性が示された。
C-GhostNetとG-GhostNetは、それぞれCPUとGPUの精度とレイテンシの最適なトレードオフを達成することができる。
論文 参考訳（メタデータ） (2022-01-10T11:46:38Z) - GhostShiftAddNet: More Features from Energy-Efficient Operations [1.2891210250935146]
ディープ畳み込みニューラルネットワーク(Deep Convolutional Neural Network, CNN)は、計算とメモリ集約である。
本稿では,ハードウェア効率のよいディープネットワークを実現するGhostShiftAddNetを提案する。
我々は新しいボトルネックブロックであるGhostSAを導入し、ブロック内のすべての乗算を安価な演算に変換する。
論文 参考訳（メタデータ） (2021-09-20T12:50:42Z) - MicroNet: Improving Image Recognition with Extremely Low FLOPs [82.54764264255505]
疎結合性と動的アクティベーション関数の2つの要因が,精度向上に有効であることがわかった。
非線形性を改善するために動的シフトマックスと呼ばれる新しい動的アクティベーション関数を提案する。
私たちはMicroNetというネットワークのファミリに到達し、低FLOP体制下での最先端技術に対して大きなパフォーマンス向上を実現しています。
論文 参考訳（メタデータ） (2021-08-12T17:59:41Z) - MobileDets: Searching for Object Detection Architectures for Mobile
Accelerators [61.30355783955777]
逆ボトルネック層は、モバイルデバイス上の最先端のオブジェクト検出モデルにおいて、主要なビルディングブロックとなっている。
通常の畳み込みは、アクセラレーターにおけるオブジェクト検出の遅延精度トレードオフを高める強力なコンポーネントである。
我々は、モバイルアクセラレーター全体で最先端の成果を得られるオブジェクト検出モデル、MobileDetsのファミリーを得る。
論文 参考訳（メタデータ） (2020-04-30T00:21:30Z) - DyNet: Dynamic Convolution for Accelerating Convolutional Neural
Networks [16.169176006544436]
本稿では,画像内容に基づいてコンボリューションカーネルを適応的に生成する動的畳み込み手法を提案する。
MobileNetV3-Small/Largeアーキテクチャに基づいて、DyNetはImageNet上で70.3/77.1%のTop-1精度を達成し、2.9/1.9%改善した。
論文 参考訳（メタデータ） (2020-04-22T16:58:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。