論文の概要: DCANet: Learning Connected Attentions for Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2007.05099v1
• Date: Thu, 9 Jul 2020 22:37:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 04:50:47.763876
• Title: DCANet: Learning Connected Attentions for Convolutional Neural Networks
• Title（参考訳）: DCANet:畳み込みニューラルネットワークのためのコネクテッドアテンション学習
• Authors: Xu Ma, Jingda Guo, Sihai Tang, Zhinan Qiao, Qi Chen, Qing Yang, Song Fu
• Abstract要約: 本稿では,内部構造を変更せずにCNNモデルに注目モジュールを付加する新しい設計であるDeep Connected Attention Network(DCANet)を提案する。 DCANetでは、CNNモデルのすべてのアテンションブロックが共同で訓練され、アテンション学習の能力が向上する。
• 参考スコア（独自算出の注目度）: 11.703373289573031
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While self-attention mechanism has shown promising results for many vision tasks, it only considers the current features at a time. We show that such a manner cannot take full advantage of the attention mechanism. In this paper, we present Deep Connected Attention Network (DCANet), a novel design that boosts attention modules in a CNN model without any modification of the internal structure. To achieve this, we interconnect adjacent attention blocks, making information flow among attention blocks possible. With DCANet, all attention blocks in a CNN model are trained jointly, which improves the ability of attention learning. Our DCANet is generic. It is not limited to a specific attention module or base network architecture. Experimental results on ImageNet and MS COCO benchmarks show that DCANet consistently outperforms the state-of-the-art attention modules with a minimal additional computational overhead in all test cases. All code and models are made publicly available.
• Abstract（参考訳）: 自己認識機構は多くのビジョンタスクに対して有望な結果を示したが、同時に現在の機能のみを考慮する。 このような方法では注意機構を十分に活用できないことを示す。 本稿では,cnnモデルにおいて,内部構造を変更せずにアテンションモジュールを高速化する新しい設計であるdeep connected attention network (dcanet)を提案する。 これを実現するために,隣接した注意ブロックを相互接続し,注意ブロック間の情報フローを可能にする。 DCANetでは、CNNモデルのすべてのアテンションブロックが共同で訓練され、アテンション学習の能力が改善される。 DCANetは汎用的です。 特定のアテンションモジュールやベースネットワークアーキテクチャに限定されない。 ImageNetとMS COCOベンチマークの実験結果から、DCANetは、すべてのテストケースで最小限の計算オーバーヘッドで、最先端の注目モジュールを一貫して上回っていることがわかった。 すべてのコードとモデルは公開されています。

関連論文リスト

• Switchable Self-attention Module [3.8992324495848356]
  自己注意モジュールSEMを提案する。 SEMは、アテンションモジュールと代替アテンション演算子の入力情報に基づいて、自動的にアテンション演算子を選択し、統合してアテンションマップを計算することができる。 SEMの有効性は、広く使われているベンチマークデータセットと一般的な自己注意ネットワークに関する広範な実験によって実証されている。
  論文  参考訳（メタデータ） (2022-09-13T01:19:38Z)
• Visual Attention Network [90.0753726786985]
  本稿では,自己アテンションにおける自己適応性および長距離相関を実現するために,新しいカーネルアテンション(LKA)モジュールを提案する。 また、LKAに基づく新しいニューラルネットワーク、すなわちVisual Attention Network (VAN)を導入する。 VANは、最先端のビジョントランスフォーマーと畳み込みニューラルネットワークを、広範な実験において大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-02-20T06:35:18Z)
• TDAN: Top-Down Attention Networks for Enhanced Feature Selectivity in CNNs [18.24779045808196]
  本稿では,トップダウンチャネルと空間変調を行うために,視覚検索ライトを反復的に生成する軽量なトップダウンアテンションモジュールを提案する。 我々のモデルは、推論中の入力解像度の変化に対してより堅牢であり、個々のオブジェクトや特徴を明示的な監督なしに各計算ステップでローカライズすることで、注意を"シフト"することを学ぶ。
  論文  参考訳（メタデータ） (2021-11-26T12:35:17Z)
• Learning to ignore: rethinking attention in CNNs [87.01305532842878]
  我々は,CNNの注意機構を再構築し,出席する学習ではなく無視することを学ぶことを提案する。 具体的には、シーン内で無関係な情報を明示的に学習し、生成した表現でそれを抑えることを提案する。
  論文  参考訳（メタデータ） (2021-11-10T13:47:37Z)
• Information Bottleneck Approach to Spatial Attention Learning [21.083618550304703]
  人間の視覚システム(HVS)における選択的な視覚的注意機構は、自然のシーンを認識するための視覚的認識に到達するための情報の量を制限する。 このような選択性は、情報圧縮と予測精度のトレードオフを求める「情報ボトルネック(IB)」として機能する。 視覚認識のために構築されたディープニューラルネットワーク(DNN)のためのIBインスパイアされた空間アテンションモジュールを提案する。
  論文  参考訳（メタデータ） (2021-08-07T10:35:32Z)
• HAN: An Efficient Hierarchical Self-Attention Network for Skeleton-Based Gesture Recognition [73.64451471862613]
  骨格に基づくジェスチャー認識のための効率的な階層型自己認識ネットワーク(HAN)を提案する。 ジョイント・セルフアテンション・モジュールは指の空間的特徴を捉え、指の自己アテンション・モジュールは手全体の特徴を集約するように設計されている。 実験の結果,3つのジェスチャ認識データセットに対して,計算複雑性がはるかに低い競合的な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-06-25T02:15:53Z)
• The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
  本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。 本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
  論文  参考訳（メタデータ） (2021-01-29T07:46:39Z)
• Efficient Attention Network: Accelerate Attention by Searching Where to Plug [11.616720452770322]
  本稿では,既存のアテンションモジュールの効率を改善するために,EAN(Efficient Attention Network)というフレームワークを提案する。 EANでは、共有メカニズムを活用して、バックボーン内のアテンションモジュールを共有し、強化学習を通じて共有アテンションモジュールを接続する場所を探索する。 広く使われているベンチマークと一般的な注意ネットワークの実験は、EANの有効性を示している。
  論文  参考訳（メタデータ） (2020-11-28T03:31:08Z)
• AssembleNet++: Assembling Modality Representations via Attention Connections [83.50084190050093]
  i)セマンティックオブジェクト情報と生の外観と動きの特徴の相互作用を学習し、(ii)ネットワークの各畳み込みブロックにおける特徴の重要性をよりよく学習するために注意を配置する。 ピアアテンションと呼ばれる新しいネットワークコンポーネントを導入し、別のブロックや入力モダリティを使って動的にアテンションウェイトを学習する。
  論文  参考訳（メタデータ） (2020-08-18T17:54:08Z)
• Deep Reinforced Attention Learning for Quality-Aware Visual Recognition [73.15276998621582]
  我々は,任意の畳み込みニューラルネットワークにおける中間注意マップの弱教師付き生成機構を構築した。 メタ批評家ネットワークを導入し、メインネットワークにおける注目マップの質を評価する。
  論文  参考訳（メタデータ） (2020-07-13T02:44:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。