論文の概要: Efficient Attention Network: Accelerate Attention by Searching Where to Plug

• arxiv url: http://arxiv.org/abs/2011.14058v2
• Date: Sun, 11 Jul 2021 12:44:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-19 19:13:51.133952
• Title: Efficient Attention Network: Accelerate Attention by Searching Where to Plug
• Title（参考訳）: 効率的な注意ネットワーク:プラグインの場所を検索して注意を加速する
• Authors: Zhongzhan Huang, Senwei Liang, Mingfu Liang, Wei He, Haizhao Yang
• Abstract要約: 本稿では,既存のアテンションモジュールの効率を改善するために,EAN(Efficient Attention Network)というフレームワークを提案する。 EANでは、共有メカニズムを活用して、バックボーン内のアテンションモジュールを共有し、強化学習を通じて共有アテンションモジュールを接続する場所を探索する。 広く使われているベンチマークと一般的な注意ネットワークの実験は、EANの有効性を示している。
• 参考スコア（独自算出の注目度）: 11.616720452770322
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, many plug-and-play self-attention modules are proposed to enhance the model generalization by exploiting the internal information of deep convolutional neural networks (CNNs). Previous works lay an emphasis on the design of attention module for specific functionality, e.g., light-weighted or task-oriented attention. However, they ignore the importance of where to plug in the attention module since they connect the modules individually with each block of the entire CNN backbone for granted, leading to incremental computational cost and number of parameters with the growth of network depth. Thus, we propose a framework called Efficient Attention Network (EAN) to improve the efficiency for the existing attention modules. In EAN, we leverage the sharing mechanism (Huang et al. 2020) to share the attention module within the backbone and search where to connect the shared attention module via reinforcement learning. Finally, we obtain the attention network with sparse connections between the backbone and modules, while (1) maintaining accuracy (2) reducing extra parameter increment and (3) accelerating inference. Extensive experiments on widely-used benchmarks and popular attention networks show the effectiveness of EAN. Furthermore, we empirically illustrate that our EAN has the capacity of transferring to other tasks and capturing the informative features. The code is available at https://github.com/gbup-group/EAN-efficient-attention-network.
• Abstract（参考訳）: 近年,深層畳み込みニューラルネットワーク(cnns)の内部情報を活用し,モデル一般化を促進するために,プラグ・アンド・プレイ自着モジュールが多数提案されている。 以前の作業では、例えば軽量やタスク指向といった特定の機能のための注意モジュールの設計に重点が置かれていた。 しかし、彼らはモジュールをCNNバックボーンのブロック全体と個別に接続するので、注意モジュールをどこに差し込むかの重要性を無視し、ネットワーク深度の増加に伴う計算コストとパラメータの数の増加につながった。 そこで我々は,既存のアテンションモジュールの効率を改善するために,EAN(Efficient Attention Network)というフレームワークを提案する。 EANでは、共有メカニズム(Huang et al. 2020)を活用して、バックボーン内のアテンションモジュールを共有し、強化学習を通じて共有アテンションモジュールを接続する場所を探索する。 最後に,(1) 精度を維持しながら,(1) 余剰パラメータの増大と(3) 加速推論を減少させながら,背骨とモジュール間の疎結合な注意ネットワークを得る。 広く使われているベンチマークと一般的な注意ネットワークに関する大規模な実験は、EANの有効性を示している。 さらに、我々のEANは、他のタスクに転送し、情報的特徴を捉える能力を持っていることを実証的に説明します。 コードはhttps://github.com/gbup-group/ean- efficient-attention-networkで入手できる。

関連論文リスト

• The Lottery Ticket Hypothesis for Self-attention in Convolutional Neural Network [69.54809052377189]
  近年, 深部畳み込みニューラルネットワーク(CNN)の内部情報を活用することにより, モデル一般化の促進を図るために, SAM (Plug-and-play Self-attention Module) が多数提案されている。 a) SAMをすべてのブロックに接続することは、必ずしも最大のパフォーマンス向上をもたらすとは限らないし、部分ブロックに接続する方が、さらによい。 (b) CNNにSAMを追加することは、必ずしもパフォーマンス向上をもたらすものではなく、代わりに元のCNNバックボーンのパフォーマンスに害を与えるかもしれない。
  論文  参考訳（メタデータ） (2022-07-16T07:08:59Z)
• Learning Target-aware Representation for Visual Tracking via Informative Interactions [49.552877881662475]
  トラッキングのための特徴表現のターゲット認識能力を改善するために,新しいバックボーンアーキテクチャを提案する。 提案したGIMモジュールとInBN機構は、CNNやTransformerなど、さまざまなバックボーンタイプに適用可能である。
  論文  参考訳（メタデータ） (2022-01-07T16:22:27Z)
• TDAN: Top-Down Attention Networks for Enhanced Feature Selectivity in CNNs [18.24779045808196]
  本稿では,トップダウンチャネルと空間変調を行うために,視覚検索ライトを反復的に生成する軽量なトップダウンアテンションモジュールを提案する。 我々のモデルは、推論中の入力解像度の変化に対してより堅牢であり、個々のオブジェクトや特徴を明示的な監督なしに各計算ステップでローカライズすることで、注意を"シフト"することを学ぶ。
  論文  参考訳（メタデータ） (2021-11-26T12:35:17Z)
• Focal Attention Networks: optimising attention for biomedical image segmentation [2.5243042477020836]
  本研究では,注目度調整におけるフォカルパラメータの役割について検討し,損失関数とネットワークの関連を明らかにする。 3つのバイオメディカルイメージングデータセットに対して,注目モジュール数が少なく,最適な性能を実現する。
  論文  参考訳（メタデータ） (2021-10-31T16:20:22Z)
• An Attention Module for Convolutional Neural Networks [5.333582981327498]
  本稿では,AW-畳み込みを開発することで,畳み込みニューラルネットワークのためのアテンションモジュールを提案する。 画像分類とオブジェクト検出タスクのための複数のデータセットの実験により,提案した注目モジュールの有効性が示された。
  論文  参考訳（メタデータ） (2021-08-18T15:36:18Z)
• DMSANet: Dual Multi Scale Attention Network [0.0]
  我々は,最高の性能を達成するだけでなく,既存のモデルに比べてパラメータも少ない新しいアテンションモジュールを提案する。 私たちの注目モジュールは、軽量な性質のため、他の畳み込みニューラルネットワークと容易に統合できます。
  論文  参考訳（メタデータ） (2021-06-13T10:31:31Z)
• Online Multiple Object Tracking with Cross-Task Synergy [120.70085565030628]
  位置予測と埋め込み結合の相乗効果を考慮した新しい統一モデルを提案する。 この2つのタスクは、時間認識対象の注意と注意の注意、およびアイデンティティ認識メモリ集約モデルによってリンクされる。
  論文  参考訳（メタデータ） (2021-04-01T10:19:40Z)
• Coordinate Attention for Efficient Mobile Network Design [96.40415345942186]
  チャネルの注目に位置情報を埋め込むことにより,モバイルネットワークに対する新たな注意メカニズムを提案する。 2次元グローバルプーリングにより特徴テンソルを単一特徴ベクトルに変換するチャネルアテンションとは異なり、座標アテンションはチャネルアテンションを2つの1次元特徴符号化プロセスに分解する。 座標の注意はImageNetの分類に有用であり、オブジェクト検出やセマンティックセグメンテーションといった下流タスクではよりうまく振る舞う。
  論文  参考訳（メタデータ） (2021-03-04T09:18:02Z)
• Attention-Guided Network for Iris Presentation Attack Detection [13.875545441867137]
  本稿では注意誘導型アイリス提示攻撃検出(AG-PAD)を提案する。 JHU-APLプロプライエタリデータセットとベンチマークのLivDet-Iris-2017データセットの両方を含む実験は、提案手法が有望な結果をもたらすことを示唆している。
  論文  参考訳（メタデータ） (2020-10-23T19:23:51Z)
• Deep Reinforced Attention Learning for Quality-Aware Visual Recognition [73.15276998621582]
  我々は,任意の畳み込みニューラルネットワークにおける中間注意マップの弱教師付き生成機構を構築した。 メタ批評家ネットワークを導入し、メインネットワークにおける注目マップの質を評価する。
  論文  参考訳（メタデータ） (2020-07-13T02:44:38Z)
• Knowing What, Where and When to Look: Efficient Video Action Modeling with Attention [84.83632045374155]
  注意ビデオモデリングは、制約のないビデオにおける行動認識に不可欠である。 What-Where-When (W3)ビデオアテンションモジュールは、ビデオアテンションの3つの面を一緒にモデル化する。 実験により,我々の注意モデルが既存の行動認識モデルに大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-04-02T21:48:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。