論文の概要: AttendSeg: A Tiny Attention Condenser Neural Network for Semantic Segmentation on the Edge

• arxiv url: http://arxiv.org/abs/2104.14623v1
• Date: Thu, 29 Apr 2021 19:19:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-03 13:49:59.607507
• Title: AttendSeg: A Tiny Attention Condenser Neural Network for Semantic Segmentation on the Edge
• Title（参考訳）: AttendSeg:エッジ上のセマンティックセグメンテーションのためのTiny Attention Condenser Neural Network
• Authors: Xiaoyu Wen, Mahmoud Famouri, Andrew Hryniowski, and Alexander Wong
• Abstract要約: デバイス上のセマンティックセグメンテーションに適した,低精度でコンパクトなディープニューラルネットワークである textbfAttendSeg を紹介する。 attendsegは、空間-チャネル選択的注意を改善するために軽量注意凝縮器からなるセルフアテンションネットワークアーキテクチャを持っている。
• 参考スコア（独自算出の注目度）: 71.80459780697956
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this study, we introduce \textbf{AttendSeg}, a low-precision, highly compact deep neural network tailored for on-device semantic segmentation. AttendSeg possesses a self-attention network architecture comprising of light-weight attention condensers for improved spatial-channel selective attention at a very low complexity. The unique macro-architecture and micro-architecture design properties of AttendSeg strike a strong balance between representational power and efficiency, achieved via a machine-driven design exploration strategy tailored specifically for the task at hand. Experimental results demonstrated that the proposed AttendSeg can achieve segmentation accuracy comparable to much larger deep neural networks with greater complexity while possessing a significantly lower architecture and computational complexity (requiring as much as >27x fewer MACs, >72x fewer parameters, and >288x lower weight memory requirements), making it well-suited for TinyML applications on the edge.
• Abstract（参考訳）: 本研究では,デバイス上のセマンティックセマンティックセグメンテーションに適した,低精度でコンパクトなディープニューラルネットワークである \textbf{AttendSeg} を紹介する。 AttendSegは,空間チャネル選択型アテンションを改善する軽量アテンションコンデンサからなる自己アテンションネットワークアーキテクチャを極めて低複雑性で備えている。 AttendSegの独特なマクロアーキテクチャとマイクロアーキテクチャ設計特性は、手作業に特化したマシン駆動設計探索戦略によって達成された、表現力と効率のバランスを強くする。 実験の結果,提案手法は,アーキテクチャや計算の複雑さ(macの27倍,パラメータの72倍,メモリの288倍)をかなり低く抑えつつ,より複雑な深層ニューラルネットワークに匹敵するセグメント化精度を実現し,エッジ上のtinymlアプリケーションに適していることが分かった。

関連論文リスト

• MFPNet: Multi-scale Feature Propagation Network For Lightweight Semantic Segmentation [5.58363644107113]
  マルチスケール特徴伝達ネットワーク(Net)と呼ばれる,新しい軽量セグメンテーションアーキテクチャを提案する。 フレキシブル・ボトルネック・残差モジュール(BRM)からなる対称残差ブロックを有するロバスト・デコーダ構造を設計する。 遅延長範囲のコンテキスト関係をモデル化する能力の利点を生かして、グラフ畳み込みネットワーク(GCN)を活用し、BRMブロック間のマルチスケールフィーチャの伝搬を容易にする。
  論文  参考訳（メタデータ） (2023-09-10T02:02:29Z)
• Faster Attention Is What You Need: A Fast Self-Attention Neural Network Backbone Architecture for the Edge via Double-Condensing Attention Condensers [71.40595908386477]
  本稿では,2重対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向 結果のバックボーン(AttendNeXtと呼ぶ)は、組み込みARMプロセッサ上で大幅に高い推論スループットを実現する。 これらの有望な結果は、さまざまな効率的なアーキテクチャ設計と自己アテンション機構の探索が、TinyMLアプリケーションのための興味深い新しいビルディングブロックにつながることを実証している。
  論文  参考訳（メタデータ） (2022-08-15T02:47:33Z)
• ME-CapsNet: A Multi-Enhanced Capsule Networks with Routing Mechanism [0.0]
  本研究は,各層の受容領域内の空間成分とチャネル成分の両面を高度に最適化する,新たなソリューションの実現に焦点をあてる。 我々は, カプセル層を戦略的に通過する前に重要な特徴を抽出するために, より深い畳み込み層を導入し, ME-CapsNetを提案する。 より深い畳み込み層にはSqueeze-Excitationネットワークのブロックが含まれており、重要な特徴情報を失うことなく、サンプリングアプローチを使用して相互依存関係を再構築する。
  論文  参考訳（メタデータ） (2022-03-29T13:29:38Z)
• AttendNets: Tiny Deep Image Recognition Neural Networks for the Edge via Visual Attention Condensers [81.17461895644003]
  我々は、オンデバイス画像認識に適した、低精度でコンパクトなディープニューラルネットワークであるAttendNetsを紹介する。 AttendNetsは、視覚的注意の凝縮に基づく深い自己注意アーキテクチャを持っている。 その結果、AttendNetsは、いくつかのディープニューラルネットワークと比較して、アーキテクチャと計算の複雑さが著しく低いことが示された。
  論文  参考訳（メタデータ） (2020-09-30T01:53:17Z)
• TinySpeech: Attention Condensers for Deep Speech Recognition Neural Networks on Edge Devices [71.68436132514542]
  エッジ上でのオンデバイス音声認識のための低フットプリント,高効率深層ニューラルネットワーク構築のためのアテンションコンデンサの概念を紹介する。 その有効性を説明するために,デバイス上での音声認識に適した低精度深層ニューラルネットワークTinySpeechを導入する。
  論文  参考訳（メタデータ） (2020-08-10T16:34:52Z)
• Real-time Semantic Segmentation with Fast Attention [94.88466483540692]
  本稿では,高解像度画像と映像をリアルタイムにセマンティックセグメンテーションするための新しいアーキテクチャを提案する。 提案したアーキテクチャは我々の空間的注意の速さに依存しており、これは一般的な自己注意機構の単純かつ効率的な修正である。 複数のデータセットに対する結果から,既存の手法に比べて精度と速度が向上し,優れた性能を示した。
  論文  参考訳（メタデータ） (2020-07-07T22:37:16Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)
• DVNet: A Memory-Efficient Three-Dimensional CNN for Large-Scale Neurovascular Reconstruction [1.9199289015460215]
  画素単位のセマンティックセマンティックセグメンテーションのための,完全畳み込み,深層化,密結合型エンコーダデコーダを提案する。 提案ネットワークは,オープンソースベンチマークに適用したセマンティックセグメンテーション問題に対して,優れた性能を提供する。
  論文  参考訳（メタデータ） (2020-02-04T22:39:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。