論文の概要: An Attention Module for Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2108.08205v1
- Date: Wed, 18 Aug 2021 15:36:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-19 17:15:59.763096
- Title: An Attention Module for Convolutional Neural Networks
- Title(参考訳): 畳み込みニューラルネットワークのための注意モジュール
- Authors: Zhu Baozhou and Peter Hofstee and Jinho Lee and Zaid Al-Ars
- Abstract要約: 本稿では,AW-畳み込みを開発することで,畳み込みニューラルネットワークのためのアテンションモジュールを提案する。
画像分類とオブジェクト検出タスクのための複数のデータセットの実験により,提案した注目モジュールの有効性が示された。
- 参考スコア(独自算出の注目度): 5.333582981327498
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Attention mechanism has been regarded as an advanced technique to capture
long-range feature interactions and to boost the representation capability for
convolutional neural networks. However, we found two ignored problems in
current attentional activations-based models: the approximation problem and the
insufficient capacity problem of the attention maps. To solve the two problems
together, we initially propose an attention module for convolutional neural
networks by developing an AW-convolution, where the shape of attention maps
matches that of the weights rather than the activations. Our proposed attention
module is a complementary method to previous attention-based schemes, such as
those that apply the attention mechanism to explore the relationship between
channel-wise and spatial features. Experiments on several datasets for image
classification and object detection tasks show the effectiveness of our
proposed attention module. In particular, our proposed attention module
achieves 1.00% Top-1 accuracy improvement on ImageNet classification over a
ResNet101 baseline and 0.63 COCO-style Average Precision improvement on the
COCO object detection on top of a Faster R-CNN baseline with the backbone of
ResNet101-FPN. When integrating with the previous attentional activations-based
models, our proposed attention module can further increase their Top-1 accuracy
on ImageNet classification by up to 0.57% and COCO-style Average Precision on
the COCO object detection by up to 0.45. Code and pre-trained models will be
publicly available.
- Abstract(参考訳): アテンション機構は、長距離特徴の相互作用を捉え、畳み込みニューラルネットワークの表現能力を高めるための高度な技術と見なされている。
しかし,現在の注意活性化モデルでは,近似問題と注意マップの容量不足という2つの無視問題を見出した。
この2つの問題を解決するために,まず,アテンションマップの形状がアクティベーションではなくウェイトの形状にマッチする畳み込み畳み込み(aw-convolution)を開発し,畳み込みニューラルネットワークのためのアテンションモジュールを提案する。
提案するアテンションモジュールは,従来のアテンションベース方式を補完する手法であり,例えば,アテンション機構を適用してチャネルワイドと空間的特徴の関係を探索する手法である。
画像分類とオブジェクト検出タスクのための複数のデータセットの実験により,提案手法の有効性が示された。
特に,提案する注目モジュールは,ResNet101ベースライン上でのイメージネット分類におけるトップ1の精度1.00%向上,ResNet101-FPNのバックボーンを持つ高速R-CNNベースライン上でのCOCOオブジェクト検出における平均精度0.63の改善を実現している。
従来のアクティベーションベースモデルと統合することにより,イメージネット分類におけるトップ1の精度を0.57%,COCOオブジェクト検出におけるCOCOスタイルの平均精度を0.45まで向上させることができる。
コードと事前訓練されたモデルは一般公開される。
関連論文リスト
- Introducing Feature Attention Module on Convolutional Neural Network for
Diabetic Retinopathy Detection [0.7614628596146599]
本稿では、より正確なDR検出のために、特徴注意モジュールと事前訓練されたVGG19畳み込みニューラルネットワーク(CNN)を統合する新しい手法を提案する。
提案モジュールは, CNNの識別能力を高めるために, 各種の眼底画像の相補的情報を活用することを目的としている。
論文 参考訳(メタデータ) (2023-08-06T01:52:46Z) - Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural
Network [52.29330138835208]
画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。
従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。
本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
論文 参考訳(メタデータ) (2023-07-04T02:50:44Z) - Systematic Architectural Design of Scale Transformed Attention Condenser
DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。
ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。
ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
論文 参考訳(メタデータ) (2023-06-16T18:29:26Z) - Rega-Net:Retina Gabor Attention for Deep Convolutional Neural Networks [8.068451210598676]
本稿では,レガネット(Rega-net)という新しいアテンション手法を提案する。
ヒト網膜のメカニズムにインスパイアされた我々は、ヒト網膜の非一様分布構造に類似した畳み込みカーネルを設計する。
論文 参考訳(メタデータ) (2022-11-23T04:24:21Z) - Layer-wise Shared Attention Network on Dynamical System Perspective [69.45492795788167]
本稿では,複数のネットワーク層にまたがって単一の注目モジュールを共有するDIAユニットという,新規かつ簡易なフレームワークを提案する。
当社のフレームワークでは,パラメータコストはレイヤ数とは無関係であり,既存の自己注意モジュールの精度をさらに向上する。
論文 参考訳(メタデータ) (2022-10-27T13:24:08Z) - TDAN: Top-Down Attention Networks for Enhanced Feature Selectivity in
CNNs [18.24779045808196]
本稿では,トップダウンチャネルと空間変調を行うために,視覚検索ライトを反復的に生成する軽量なトップダウンアテンションモジュールを提案する。
我々のモデルは、推論中の入力解像度の変化に対してより堅牢であり、個々のオブジェクトや特徴を明示的な監督なしに各計算ステップでローカライズすることで、注意を"シフト"することを学ぶ。
論文 参考訳(メタデータ) (2021-11-26T12:35:17Z) - Bayesian Attention Belief Networks [59.183311769616466]
注意に基づくニューラルネットワークは、幅広いタスクにおいて最先端の結果を得た。
本稿では,非正規化注意重みをモデル化してデコーダネットワークを構築するベイズ的注意信念ネットワークについて紹介する。
提案手法は, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃において, 決定論的注意と最先端の注意よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-06-09T17:46:22Z) - AGSFCOS: Based on attention mechanism and Scale-Equalizing pyramid
network of object detection [10.824032219531095]
現在のCOCOデータセットの一般的な検出モデルと比較すると,精度はある程度向上している。
我々の最適モデルはResNet50の背景で39.5%のCOCO APが得られる。
論文 参考訳(メタデータ) (2021-05-20T08:41:02Z) - Variational Structured Attention Networks for Deep Visual Representation
Learning [49.80498066480928]
空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。
具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。
ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
論文 参考訳(メタデータ) (2021-03-05T07:37:24Z) - PC-RGNN: Point Cloud Completion and Graph Neural Network for 3D Object
Detection [57.49788100647103]
LiDARベースの3Dオブジェクト検出は、自動運転にとって重要なタスクです。
現在のアプローチでは、遠方および閉ざされた物体の偏りと部分的な点雲に苦しむ。
本稿では,この課題を2つの解決法で解決する新しい二段階アプローチ,pc-rgnnを提案する。
論文 参考訳(メタデータ) (2020-12-18T18:06:43Z) - Hybrid Multiple Attention Network for Semantic Segmentation in Aerial
Images [24.35779077001839]
グローバルな相関関係を適応的に捉えるために,Hybrid Multiple Attention Network (HMANet) という新しいアテンションベースのフレームワークを提案する。
本稿では,機能的冗長性を低減し,自己注意機構の効率を向上させるため,単純で効果的な領域シャッフルアテンション(RSA)モジュールを提案する。
論文 参考訳(メタデータ) (2020-01-09T07:47:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。