論文の概要: AttendNets: Tiny Deep Image Recognition Neural Networks for the Edge via Visual Attention Condensers

• arxiv url: http://arxiv.org/abs/2009.14385v1
• Date: Wed, 30 Sep 2020 01:53:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 22:51:25.740864
• Title: AttendNets: Tiny Deep Image Recognition Neural Networks for the Edge via Visual Attention Condensers
• Title（参考訳）: AttendNets:ビジュアル・アテンション・コンデンサによるエッジ用Tiny Deep Image Recognition Neural Networks
• Authors: Alexander Wong, Mahmoud Famouri, and Mohammad Javad Shafiee
• Abstract要約: 我々は、オンデバイス画像認識に適した、低精度でコンパクトなディープニューラルネットワークであるAttendNetsを紹介する。 AttendNetsは、視覚的注意の凝縮に基づく深い自己注意アーキテクチャを持っている。 その結果、AttendNetsは、いくつかのディープニューラルネットワークと比較して、アーキテクチャと計算の複雑さが著しく低いことが示された。
• 参考スコア（独自算出の注目度）: 81.17461895644003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While significant advances in deep learning has resulted in state-of-the-art performance across a large number of complex visual perception tasks, the widespread deployment of deep neural networks for TinyML applications involving on-device, low-power image recognition remains a big challenge given the complexity of deep neural networks. In this study, we introduce AttendNets, low-precision, highly compact deep neural networks tailored for on-device image recognition. More specifically, AttendNets possess deep self-attention architectures based on visual attention condensers, which extends on the recently introduced stand-alone attention condensers to improve spatial-channel selective attention. Furthermore, AttendNets have unique machine-designed macroarchitecture and microarchitecture designs achieved via a machine-driven design exploration strategy. Experimental results on ImageNet$_{50}$ benchmark dataset for the task of on-device image recognition showed that AttendNets have significantly lower architectural and computational complexity when compared to several deep neural networks in research literature designed for efficiency while achieving highest accuracies (with the smallest AttendNet achieving $\sim$7.2% higher accuracy, while requiring $\sim$3$\times$ fewer multiply-add operations, $\sim$4.17$\times$ fewer parameters, and $\sim$16.7$\times$ lower weight memory requirements than MobileNet-V1). Based on these promising results, AttendNets illustrate the effectiveness of visual attention condensers as building blocks for enabling various on-device visual perception tasks for TinyML applications.
• Abstract（参考訳）: ディープラーニングの大幅な進歩は、多数の複雑な視覚的タスクにまたがって最先端のパフォーマンスをもたらす一方で、デバイス上の低消費電力の画像認識を含むTinyMLアプリケーションのためのディープニューラルネットワークの広範な展開は、ディープニューラルネットワークの複雑さを考えれば大きな課題である。 本研究では,デバイス上での画像認識に適した,低精度・高コンパクトなディープニューラルネットワークについて紹介する。 より具体的には、AttendNetsは視覚的アテンション・コンデンサに基づく深い自己注意アーキテクチャを持ち、空間チャネル選択的アテンションを改善するために最近導入されたスタンドアローンアテンション・コンデンサを拡張している。 さらに、AttendNetsは独自のマシン設計のマクロアーキテクチャとマイクロアーキテクチャをマシン駆動設計探索戦略によって実現している。 Experimental results on ImageNet$_{50}$ benchmark dataset for the task of on-device image recognition showed that AttendNets have significantly lower architectural and computational complexity when compared to several deep neural networks in research literature designed for efficiency while achieving highest accuracies (with the smallest AttendNet achieving $\sim$7.2% higher accuracy, while requiring $\sim$3$\times$ fewer multiply-add operations, $\sim$4.17$\times$ fewer parameters, and $\sim$16.7$\times$ lower weight memory requirements than MobileNet-V1). これらの有望な結果に基づき、参加者ネットはtinymlアプリケーションのための様々なオンデバイス視覚知覚タスクを可能にするビルディングブロックとしての視覚注意凝縮器の有効性を示す。

関連論文リスト

• UHNet: An Ultra-Lightweight and High-Speed Edge Detection Network [2.8579170027399137]
  本稿では,超軽量エッジ検出モデル(UHNet)を提案する。 UHNetは42.3kパラメータ、166 FPS、0.79G FLOPの優れたパフォーマンス指標を備えている。 BSDS500、NYUD、BIPEDデータセットの実験結果は、UHNetが顕著なエッジ検出性能を達成することを証明している。
  論文  参考訳（メタデータ） (2024-08-08T06:56:33Z)
• Enhancing Small Object Encoding in Deep Neural Networks: Introducing Fast&Focused-Net with Volume-wise Dot Product Layer [0.0]
  我々は、小さなオブジェクトを固定長特徴ベクトルに符号化するのに適した、新しいディープニューラルネットワークアーキテクチャであるFast&Focused-Netを紹介する。 Fast&Focused-Netは、CNNのいくつかの固有の制限に対処するために設計された、新たに提案された一連のレイヤであるVDP(Volume-wise Dot Product)レイヤを採用しています。 CIFAR-10, CIFAR-100, STL-10, SVHN-Cropped, Fashion-MNISTなどのデータセットでは, オブジェクト分類タスクにおいて, ネットワークが最先端の手法よりも優れていた。 画像分類における変換器エンコーダ(ViT)と組み合わせた場合
  論文  参考訳（メタデータ） (2024-01-18T09:31:25Z)
• Fast GraspNeXt: A Fast Self-Attention Neural Network Architecture for Multi-task Learning in Computer Vision Tasks for Robotic Grasping on the Edge [80.88063189896718]
  アーキテクチャと計算の複雑さが高いと、組み込みデバイスへのデプロイに適さない。 Fast GraspNeXtは、ロボットグルーピングのためのコンピュータビジョンタスクに埋め込まれたマルチタスク学習に適した、高速な自己認識型ニューラルネットワークアーキテクチャである。
  論文  参考訳（メタデータ） (2023-04-21T18:07:14Z)
• A Robust and Low Complexity Deep Learning Model for Remote Sensing Image Classification [1.9019295680940274]
  リモートセンシング画像分類(RSIC)のための頑健で低複雑性なディープラーニングモデルを提案する。 ベンチマークデータセットNWPU-RESISC45の広範な実験を行うことで、ロバストで低複雑さのモデルを実現する。
  論文  参考訳（メタデータ） (2022-11-05T06:14:30Z)
• Faster Attention Is What You Need: A Fast Self-Attention Neural Network Backbone Architecture for the Edge via Double-Condensing Attention Condensers [71.40595908386477]
  本稿では,2重対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向 結果のバックボーン(AttendNeXtと呼ぶ)は、組み込みARMプロセッサ上で大幅に高い推論スループットを実現する。 これらの有望な結果は、さまざまな効率的なアーキテクチャ設計と自己アテンション機構の探索が、TinyMLアプリケーションのための興味深い新しいビルディングブロックにつながることを実証している。
  論文  参考訳（メタデータ） (2022-08-15T02:47:33Z)
• AttendSeg: A Tiny Attention Condenser Neural Network for Semantic Segmentation on the Edge [71.80459780697956]
  デバイス上のセマンティックセグメンテーションに適した,低精度でコンパクトなディープニューラルネットワークである textbfAttendSeg を紹介する。 attendsegは、空間-チャネル選択的注意を改善するために軽量注意凝縮器からなるセルフアテンションネットワークアーキテクチャを持っている。
  論文  参考訳（メタデータ） (2021-04-29T19:19:04Z)
• TinySpeech: Attention Condensers for Deep Speech Recognition Neural Networks on Edge Devices [71.68436132514542]
  エッジ上でのオンデバイス音声認識のための低フットプリント,高効率深層ニューラルネットワーク構築のためのアテンションコンデンサの概念を紹介する。 その有効性を説明するために,デバイス上での音声認識に適した低精度深層ニューラルネットワークTinySpeechを導入する。
  論文  参考訳（メタデータ） (2020-08-10T16:34:52Z)
• EmotionNet Nano: An Efficient Deep Convolutional Neural Network Design for Real-time Facial Expression Recognition [75.74756992992147]
  本研究では,人間と機械の協調設計戦略によって構築された,効率的な深層畳み込みニューラルネットワークであるEmotionNet Nanoを提案する。 EmotionNet Nanoの2つの異なるバリエーションが提示され、それぞれがアーキテクチャと計算の複雑さと精度のトレードオフを持っている。 提案するEmotionNet Nanoネットワークは,実時間推定速度(例えば,15Wおよび30Wで$>25$ FPSと$>70$ FPS)と高エネルギー効率を実現した。
  論文  参考訳（メタデータ） (2020-06-29T00:48:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。