論文の概要: Faster Attention Is What You Need: A Fast Self-Attention Neural Network Backbone Architecture for the Edge via Double-Condensing Attention Condensers

• arxiv url: http://arxiv.org/abs/2208.06980v1
• Date: Mon, 15 Aug 2022 02:47:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-16 14:38:00.844652
• Title: Faster Attention Is What You Need: A Fast Self-Attention Neural Network Backbone Architecture for the Edge via Double-Condensing Attention Condensers
• Title（参考訳）: より高速な注意:二重凝縮型アテンションコンデンサによるエッジ用の高速自己注意ニューラルネットワークバックボーンアーキテクチャ
• Authors: Alexander Wong, Mohammad Javad Shafiee, Saad Abbasi, Saeejith Nair, and Mahmoud Famouri
• Abstract要約: 本稿では,2重対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向 結果のバックボーン(AttendNeXtと呼ぶ)は、組み込みARMプロセッサ上で大幅に高い推論スループットを実現する。 これらの有望な結果は、さまざまな効率的なアーキテクチャ設計と自己アテンション機構の探索が、TinyMLアプリケーションのための興味深い新しいビルディングブロックにつながることを実証している。
• 参考スコア（独自算出の注目度）: 71.40595908386477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the growing adoption of deep learning for on-device TinyML applications, there has been an ever-increasing demand for more efficient neural network backbones optimized for the edge. Recently, the introduction of attention condenser networks have resulted in low-footprint, highly-efficient, self-attention neural networks that strike a strong balance between accuracy and speed. In this study, we introduce a new faster attention condenser design called double-condensing attention condensers that enable more condensed feature embedding. We further employ a machine-driven design exploration strategy that imposes best practices design constraints for greater efficiency and robustness to produce the macro-micro architecture constructs of the backbone. The resulting backbone (which we name AttendNeXt) achieves significantly higher inference throughput on an embedded ARM processor when compared to several other state-of-the-art efficient backbones (>10X faster than FB-Net C at higher accuracy and speed) while having a small model size (>1.47X smaller than OFA-62 at higher speed and similar accuracy) and strong accuracy (1.1% higher top-1 accuracy than MobileViT XS on ImageNet at higher speed). These promising results demonstrate that exploring different efficient architecture designs and self-attention mechanisms can lead to interesting new building blocks for TinyML applications.
• Abstract（参考訳）: デバイス上のtinymlアプリケーションにディープラーニングが採用されることで、エッジに最適化されたより効率的なニューラルネットワークバックボーンに対する需要がますます高まっている。 近年,注目凝縮器ネットワークの導入により,精度と速度のバランスが強い低フットプリント,高効率,自己認識型ニューラルネットワークが実現されている。 本研究では,より高速な注意凝縮器の設計である2重凝縮型注意凝縮器について紹介する。 さらに、バックボーンのマクロマイクロアーキテクチャ構造を生成するために、より効率と堅牢性を高めるためのベストプラクティス設計制約を課す機械駆動設計探索戦略を採用する。 結果として得られたバックボーン(AttendNeXt)は、他の最先端の効率的なバックボーン(FB-Net Cよりも高い精度と高速で10倍速い)と比較して、組み込みARMプロセッサでの推論スループットを著しく向上させると同時に、モデルサイズが小さい(高速で類似の精度でOFA-62より1.47倍小さい)とともに、強い精度(ImageNet上のMobileViT XSよりも1.1%高いトップ1精度)を持つ。 これらの有望な結果から、異なる効率的なアーキテクチャ設計とセルフアテンションメカニズムの探求は、tinymlアプリケーションのための興味深い新しいビルディングブロックにつながることが示されている。

関連論文リスト

• LowFormer: Hardware Efficient Design for Convolutional Transformer Backbones [10.435069781620957]
  効率的な視覚バックボーンの研究は、畳み込みとトランスフォーマーブロックの混合モデルに進化しつつある。 我々は、MACではなく、実際のスループットとレイテンシの観点から、一般的なモジュールとアーキテクチャ設計の選択を分析します。 マクロデザインとマイクロデザインを組み合わせることで,LowFormerと呼ばれる,ハードウェア効率のよいバックボーンネットワークの新たなファミリを作ります。
  論文  参考訳（メタデータ） (2024-09-05T12:18:32Z)
• Systematic Architectural Design of Scale Transformed Attention Condenser DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
  マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。 ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。 ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
  論文  参考訳（メタデータ） (2023-06-16T18:29:26Z)
• Fast GraspNeXt: A Fast Self-Attention Neural Network Architecture for Multi-task Learning in Computer Vision Tasks for Robotic Grasping on the Edge [80.88063189896718]
  アーキテクチャと計算の複雑さが高いと、組み込みデバイスへのデプロイに適さない。 Fast GraspNeXtは、ロボットグルーピングのためのコンピュータビジョンタスクに埋め込まれたマルチタスク学習に適した、高速な自己認識型ニューラルネットワークアーキテクチャである。
  論文  参考訳（メタデータ） (2023-04-21T18:07:14Z)
• AttendSeg: A Tiny Attention Condenser Neural Network for Semantic Segmentation on the Edge [71.80459780697956]
  デバイス上のセマンティックセグメンテーションに適した,低精度でコンパクトなディープニューラルネットワークである textbfAttendSeg を紹介する。 attendsegは、空間-チャネル選択的注意を改善するために軽量注意凝縮器からなるセルフアテンションネットワークアーキテクチャを持っている。
  論文  参考訳（メタデータ） (2021-04-29T19:19:04Z)
• FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
  ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。 現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。 提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
  論文  参考訳（メタデータ） (2021-03-08T03:09:37Z)
• AttendNets: Tiny Deep Image Recognition Neural Networks for the Edge via Visual Attention Condensers [81.17461895644003]
  我々は、オンデバイス画像認識に適した、低精度でコンパクトなディープニューラルネットワークであるAttendNetsを紹介する。 AttendNetsは、視覚的注意の凝縮に基づく深い自己注意アーキテクチャを持っている。 その結果、AttendNetsは、いくつかのディープニューラルネットワークと比較して、アーキテクチャと計算の複雑さが著しく低いことが示された。
  論文  参考訳（メタデータ） (2020-09-30T01:53:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。