論文の概要: SA-Net: Shuffle Attention for Deep Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2102.00240v1
• Date: Sat, 30 Jan 2021 15:23:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-03 08:39:35.943945
• Title: SA-Net: Shuffle Attention for Deep Convolutional Neural Networks
• Title（参考訳）: SA-Net: 深層畳み込みニューラルネットワークのシャッフル注意
• Authors: Qing-Long Zhang Yu-Bin Yang
• Abstract要約: この問題に対処するために,効率的なShuffle Attention (SA) モジュールを提案する。 例えば、バックボーンのResNet50に対するSAのパラメータと計算は、それぞれ300対25.56Mと2.76e-3 GFLOPs対4.12 GFLOPである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention mechanisms, which enable a neural network to accurately focus on all the relevant elements of the input, have become an essential component to improve the performance of deep neural networks. There are mainly two attention mechanisms widely used in computer vision studies, \textit{spatial attention} and \textit{channel attention}, which aim to capture the pixel-level pairwise relationship and channel dependency, respectively. Although fusing them together may achieve better performance than their individual implementations, it will inevitably increase the computational overhead. In this paper, we propose an efficient Shuffle Attention (SA) module to address this issue, which adopts Shuffle Units to combine two types of attention mechanisms effectively. Specifically, SA first groups channel dimensions into multiple sub-features before processing them in parallel. Then, for each sub-feature, SA utilizes a Shuffle Unit to depict feature dependencies in both spatial and channel dimensions. After that, all sub-features are aggregated and a "channel shuffle" operator is adopted to enable information communication between different sub-features. The proposed SA module is efficient yet effective, e.g., the parameters and computations of SA against the backbone ResNet50 are 300 vs. 25.56M and 2.76e-3 GFLOPs vs. 4.12 GFLOPs, respectively, and the performance boost is more than 1.34% in terms of Top-1 accuracy. Extensive experimental results on common-used benchmarks, including ImageNet-1k for classification, MS COCO for object detection, and instance segmentation, demonstrate that the proposed SA outperforms the current SOTA methods significantly by achieving higher accuracy while having lower model complexity. The code and models are available at https://github.com/wofmanaf/SA-Net.
• Abstract（参考訳）: ニューラルネットワークが入力のすべての関連要素に正確に焦点を合わせられるようにするための注意機構は、ディープニューラルネットワークの性能向上に欠かせない要素となっている。 コンピュータビジョン研究で広く使われている2つの注意機構は、それぞれピクセルレベルのペアワイズ関係とチャネル依存性を捉えることを目的とした \textit{spatial attention} と \textit{channel attention} である。 それらを組み合わせることで、個々の実装よりも優れたパフォーマンスが得られるかもしれないが、必然的に計算オーバーヘッドが増加する。 本稿では,2種類の注意機構を効果的に組み合わせるために,Shuffle Unitsを採用した効率的なShuffle Attention(SA)モジュールを提案する。 特に、saファーストグループでは、並列に処理する前に複数のサブフィーチャにチャネル次元を割り当てる。 次に、各サブ機能に対して、SAはShuffle Unitを使用して、空間次元とチャネル次元の両方の特徴依存性を記述する。 その後、全てのサブ機能を集約し、異なるサブ機能間の情報通信を可能にするために「チャンネルシャッフル」オペレータが採用される。 提案されたSAモジュールは効率的だが効果的であり、例えばバックボーンResNet50に対するSAのパラメータと計算はそれぞれ300対25.56Mと2.76e-3 GFLOP対4.12GFLOPであり、性能向上はTop-1の精度で1.34%以上である。 分類のためのImageNet-1k,オブジェクト検出のためのMS COCO,インスタンスセグメンテーションなど,一般的なベンチマークにおける大規模な実験結果から,モデル複雑性を抑えながら精度を向上し,現在のSOTA法を著しく上回る結果が得られた。 コードとモデルはhttps://github.com/wofmanaf/sa-netで入手できる。

関連論文リスト

• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Salient Object Detection in Optical Remote Sensing Images Driven by Transformer [69.22039680783124]
  光リモートセンシング画像(ORSI-SOD)のためのGlobal extract Local Exploration Network(GeleNet)を提案する。 具体的には、GeleNetはまずトランスフォーマーバックボーンを採用し、グローバルな長距離依存関係を持つ4レベルの機能埋め込みを生成する。 3つの公開データセットに関する大規模な実験は、提案されたGeleNetが関連する最先端メソッドより優れていることを示している。
  論文  参考訳（メタデータ） (2023-09-15T07:14:43Z)
• UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
  本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。 我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。 Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
  論文  参考訳（メタデータ） (2022-12-08T18:59:57Z)
• DMSANet: Dual Multi Scale Attention Network [0.0]
  我々は,最高の性能を達成するだけでなく,既存のモデルに比べてパラメータも少ない新しいアテンションモジュールを提案する。 私たちの注目モジュールは、軽量な性質のため、他の畳み込みニューラルネットワークと容易に統合できます。
  論文  参考訳（メタデータ） (2021-06-13T10:31:31Z)
• A^2-FPN: Attention Aggregation based Feature Pyramid Network for Instance Segmentation [68.10621089649486]
  アテンションアグリゲーションに基づく機能ピラミッドネットワーク(A2-FPN)を提案し、マルチスケール機能学習を改善します。 A2-FPNは、Cascade Mask R-CNNやHybrid Task Cascadeといった強力なベースラインに統合された場合、2.0%と1.4%のマスクAPを改善する。
  論文  参考訳（メタデータ） (2021-05-07T11:51:08Z)
• CARAFE++: Unified Content-Aware ReAssembly of FEatures [132.49582482421246]
  この目標を達成するために、ユニバーサルで軽量で高効率なオペレータであるContent-Aware ReAssembly of FEatures(CARAFE++)を提案します。 CARAFE++は、インスタンス固有のコンテンツ認識処理を可能にするアダプティブカーネルをオンザフライで生成する。 計算のオーバーヘッドが無視できるすべてのタスクにおいて、一貫性と実質的な利益を示しています。
  論文  参考訳（メタデータ） (2020-12-07T07:34:57Z)
• Lightweight Single-Image Super-Resolution Network with Attentive Auxiliary Feature Learning [73.75457731689858]
  本稿では,SISR の注意補助機能 (A$2$F) に基づく計算効率が高く正確なネットワークを構築した。 大規模データセットを用いた実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-11-13T06:01:46Z)
• Multi-Attention-Network for Semantic Segmentation of Fine Resolution Remote Sensing Images [10.835342317692884]
  リモートセンシング画像におけるセマンティックセグメンテーションの精度は、ディープ畳み込みニューラルネットワークによって著しく向上した。 本稿では,これらの問題に対処するマルチアテンション・ネットワーク(MANet)を提案する。 線形複雑性を伴うカーネル注意の新たなアテンション機構が提案され,注目される計算負荷の低減が図られた。
  論文  参考訳（メタデータ） (2020-09-03T09:08:02Z)
• Fully Dynamic Inference with Deep Neural Networks [19.833242253397206]
  Layer-Net(L-Net)とChannel-Net(C-Net)と呼ばれる2つのコンパクトネットワークは、どのレイヤやフィルタ/チャネルが冗長であるかをインスタンス毎に予測する。 CIFAR-10データセットでは、LC-Netは11.9$times$ less floating-point Operations (FLOPs) となり、他の動的推論手法と比較して最大3.3%精度が向上する。 ImageNetデータセットでは、LC-Netは最大1.4$times$ FLOPsを減らし、Top-1の精度は他の方法よりも4.6%高い。
  論文  参考訳（メタデータ） (2020-07-29T23:17:48Z)
• ULSAM: Ultra-Lightweight Subspace Attention Module for Compact Convolutional Neural Networks [4.143032261649983]
  Ultra-Lightweight Subspace Attention Mechanism(ULSAM)は、エンドツーエンドのトレーニングが可能で、コンパクト畳み込みニューラルネットワーク(CNN)のプラグアンドプレイモジュールとしてデプロイできる。 FLOPとパラメータカウントの両方において$approx$13%と$approx$25%の削減を実現し、ImageNet-1Kおよびきめ細かい画像分類データセット上で、0.27%以上の精度と1%以上の精度で、MobileNet-V2のFLOPとパラメータカウントを削減した。
  論文  参考訳（メタデータ） (2020-06-26T17:05:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。