論文の概要: An Attention Module for Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2108.08205v1
- Date: Wed, 18 Aug 2021 15:36:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-19 17:15:59.763096
- Title: An Attention Module for Convolutional Neural Networks
- Title（参考訳）: 畳み込みニューラルネットワークのための注意モジュール
- Authors: Zhu Baozhou and Peter Hofstee and Jinho Lee and Zaid Al-Ars
- Abstract要約: 本稿では,AW-畳み込みを開発することで,畳み込みニューラルネットワークのためのアテンションモジュールを提案する。
画像分類とオブジェクト検出タスクのための複数のデータセットの実験により,提案した注目モジュールの有効性が示された。
- 参考スコア（独自算出の注目度）: 5.333582981327498
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Attention mechanism has been regarded as an advanced technique to capture
long-range feature interactions and to boost the representation capability for
convolutional neural networks. However, we found two ignored problems in
current attentional activations-based models: the approximation problem and the
insufficient capacity problem of the attention maps. To solve the two problems
together, we initially propose an attention module for convolutional neural
networks by developing an AW-convolution, where the shape of attention maps
matches that of the weights rather than the activations. Our proposed attention
module is a complementary method to previous attention-based schemes, such as
those that apply the attention mechanism to explore the relationship between
channel-wise and spatial features. Experiments on several datasets for image
classification and object detection tasks show the effectiveness of our
proposed attention module. In particular, our proposed attention module
achieves 1.00% Top-1 accuracy improvement on ImageNet classification over a
ResNet101 baseline and 0.63 COCO-style Average Precision improvement on the
COCO object detection on top of a Faster R-CNN baseline with the backbone of
ResNet101-FPN. When integrating with the previous attentional activations-based
models, our proposed attention module can further increase their Top-1 accuracy
on ImageNet classification by up to 0.57% and COCO-style Average Precision on
the COCO object detection by up to 0.45. Code and pre-trained models will be
publicly available.
- Abstract（参考訳）: アテンション機構は、長距離特徴の相互作用を捉え、畳み込みニューラルネットワークの表現能力を高めるための高度な技術と見なされている。
しかし,現在の注意活性化モデルでは,近似問題と注意マップの容量不足という2つの無視問題を見出した。
この2つの問題を解決するために,まず,アテンションマップの形状がアクティベーションではなくウェイトの形状にマッチする畳み込み畳み込み(aw-convolution)を開発し,畳み込みニューラルネットワークのためのアテンションモジュールを提案する。
提案するアテンションモジュールは,従来のアテンションベース方式を補完する手法であり,例えば,アテンション機構を適用してチャネルワイドと空間的特徴の関係を探索する手法である。
画像分類とオブジェクト検出タスクのための複数のデータセットの実験により,提案手法の有効性が示された。
特に,提案する注目モジュールは,ResNet101ベースライン上でのイメージネット分類におけるトップ1の精度1.00%向上,ResNet101-FPNのバックボーンを持つ高速R-CNNベースライン上でのCOCOオブジェクト検出における平均精度0.63の改善を実現している。
従来のアクティベーションベースモデルと統合することにより,イメージネット分類におけるトップ1の精度を0.57%,COCOオブジェクト検出におけるCOCOスタイルの平均精度を0.45まで向上させることができる。
コードと事前訓練されたモデルは一般公開される。
関連論文リスト
- CCDepth: A Lightweight Self-supervised Depth Estimation Network with Enhanced Interpretability [11.076431337488973]
本研究では,畳み込みニューラルネットワーク(CNN)とホワイトボックスCRATEネットワークを組み合わせた,ハイブリッド型自己教師型深度推定ネットワークCCDepthを提案する。
このネットワークは,CNNとCRATEモジュールを用いて画像中の局所的およびグローバルな情報を抽出し,学習効率の向上とモデルサイズ削減を実現する。
論文 参考訳（メタデータ） (2024-09-30T04:19:40Z) - DCNN: Dual Cross-current Neural Networks Realized Using An Interactive Deep Learning Discriminator for Fine-grained Objects [48.65846477275723]
本研究では、微細な画像分類の精度を向上させるために、新しい二重電流ニューラルネットワーク(DCNN)を提案する。
弱い教師付き学習バックボーンモデルを構築するための新しい特徴として、(a)異種データの抽出、(b)特徴マップの解像度の維持、(c)受容領域の拡大、(d)グローバル表現と局所特徴の融合などがある。
論文 参考訳（メタデータ） (2024-05-07T07:51:28Z) - Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural
Network [52.29330138835208]
画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。
従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。
本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
論文 参考訳（メタデータ） (2023-07-04T02:50:44Z) - Systematic Architectural Design of Scale Transformed Attention Condenser
DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。
ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。
ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
論文 参考訳（メタデータ） (2023-06-16T18:29:26Z) - A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。
Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。
我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
論文 参考訳（メタデータ） (2022-10-27T13:24:08Z) - TDAN: Top-Down Attention Networks for Enhanced Feature Selectivity in
CNNs [18.24779045808196]
本稿では,トップダウンチャネルと空間変調を行うために,視覚検索ライトを反復的に生成する軽量なトップダウンアテンションモジュールを提案する。
我々のモデルは、推論中の入力解像度の変化に対してより堅牢であり、個々のオブジェクトや特徴を明示的な監督なしに各計算ステップでローカライズすることで、注意を"シフト"することを学ぶ。
論文 参考訳（メタデータ） (2021-11-26T12:35:17Z) - Bayesian Attention Belief Networks [59.183311769616466]
注意に基づくニューラルネットワークは、幅広いタスクにおいて最先端の結果を得た。
本稿では,非正規化注意重みをモデル化してデコーダネットワークを構築するベイズ的注意信念ネットワークについて紹介する。
提案手法は, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃において, 決定論的注意と最先端の注意よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-06-09T17:46:22Z) - AGSFCOS: Based on attention mechanism and Scale-Equalizing pyramid
network of object detection [10.824032219531095]
現在のCOCOデータセットの一般的な検出モデルと比較すると,精度はある程度向上している。
我々の最適モデルはResNet50の背景で39.5%のCOCO APが得られる。
論文 参考訳（メタデータ） (2021-05-20T08:41:02Z) - PC-RGNN: Point Cloud Completion and Graph Neural Network for 3D Object
Detection [57.49788100647103]
LiDARベースの3Dオブジェクト検出は、自動運転にとって重要なタスクです。
現在のアプローチでは、遠方および閉ざされた物体の偏りと部分的な点雲に苦しむ。
本稿では,この課題を2つの解決法で解決する新しい二段階アプローチ,pc-rgnnを提案する。
論文 参考訳（メタデータ） (2020-12-18T18:06:43Z) - Hybrid Multiple Attention Network for Semantic Segmentation in Aerial
Images [24.35779077001839]
グローバルな相関関係を適応的に捉えるために,Hybrid Multiple Attention Network (HMANet) という新しいアテンションベースのフレームワークを提案する。
本稿では,機能的冗長性を低減し,自己注意機構の効率を向上させるため,単純で効果的な領域シャッフルアテンション(RSA)モジュールを提案する。
論文 参考訳（メタデータ） (2020-01-09T07:47:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。