論文の概要: Coordinate Attention for Efficient Mobile Network Design

• arxiv url: http://arxiv.org/abs/2103.02907v1
• Date: Thu, 4 Mar 2021 09:18:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-07 16:55:39.256477
• Title: Coordinate Attention for Efficient Mobile Network Design
• Title（参考訳）: 効率的なモバイルネットワーク設計のためのコーディネート注意
• Authors: Qibin Hou, Daquan Zhou, Jiashi Feng
• Abstract要約: チャネルの注目に位置情報を埋め込むことにより,モバイルネットワークに対する新たな注意メカニズムを提案する。 2次元グローバルプーリングにより特徴テンソルを単一特徴ベクトルに変換するチャネルアテンションとは異なり、座標アテンションはチャネルアテンションを2つの1次元特徴符号化プロセスに分解する。 座標の注意はImageNetの分類に有用であり、オブジェクト検出やセマンティックセグメンテーションといった下流タスクではよりうまく振る舞う。
• 参考スコア（独自算出の注目度）: 96.40415345942186
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies on mobile network design have demonstrated the remarkable effectiveness of channel attention (e.g., the Squeeze-and-Excitation attention) for lifting model performance, but they generally neglect the positional information, which is important for generating spatially selective attention maps. In this paper, we propose a novel attention mechanism for mobile networks by embedding positional information into channel attention, which we call "coordinate attention". Unlike channel attention that transforms a feature tensor to a single feature vector via 2D global pooling, the coordinate attention factorizes channel attention into two 1D feature encoding processes that aggregate features along the two spatial directions, respectively. In this way, long-range dependencies can be captured along one spatial direction and meanwhile precise positional information can be preserved along the other spatial direction. The resulting feature maps are then encoded separately into a pair of direction-aware and position-sensitive attention maps that can be complementarily applied to the input feature map to augment the representations of the objects of interest. Our coordinate attention is simple and can be flexibly plugged into classic mobile networks, such as MobileNetV2, MobileNeXt, and EfficientNet with nearly no computational overhead. Extensive experiments demonstrate that our coordinate attention is not only beneficial to ImageNet classification but more interestingly, behaves better in down-stream tasks, such as object detection and semantic segmentation. Code is available at https://github.com/Andrew-Qibin/CoordAttention.
• Abstract（参考訳）: 移動ネットワーク設計に関する最近の研究は, モデル性能向上のためのチャネル注意(例えば, 押し出し注意)の顕著な効果を実証してきたが, 一般に位置情報は無視され, 空間的に選択的に注意マップを生成するのに重要である。 本稿では,位置情報をチャネルの注意に埋め込むことにより,モバイルネットワークにおける新たな注意メカニズムを提案する。 2次元グローバルプーリングにより特徴テンソルを単一特徴ベクトルに変換するチャネルアテンションとは異なり、座標アテンションはチャネルアテンションを2つの空間方向に沿って特徴を集約する2つの1次元特徴符号化プロセスに分解する。 このようにして、一方の空間方向に沿って長距離依存を捕捉でき、他方の空間方向に沿って正確な位置情報を保存することができる。 結果として得られた特徴マップは、入力された特徴マップに相補的に適用でき、関心のある対象の表現を増強できる方向認識および位置知覚のアテンションマップに別々にエンコードされる。 座標の注意は単純で、MobileNetV2、MobileNeXt、EfficientNetなどの古典的なモバイルネットワークに柔軟に接続でき、計算オーバーヘッドはほとんどない。 広範な実験は、私たちの座標の注意がImageNet分類に有益であるだけでなく、より興味深いことに、オブジェクト検出やセマンティックセグメンテーションなどの下流タスクでより良い振る舞いを示す。 コードはhttps://github.com/Andrew-Qibin/CoordAttentionで入手できる。

関連論文リスト

• ELA: Efficient Local Attention for Deep Convolutional Neural Networks [15.976475674061287]
  本稿では、簡単な構造で大幅な性能向上を実現するための効率的な局所注意法(ELA)を提案する。 これらの課題を克服するため、我々は1次元畳み込みとグループ正規化機能強化技術の導入を提案する。 ELAはResNet、MobileNet、DeepLabといったディープCNNネットワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-03-02T08:06:18Z)
• Correlation-Aware Deep Tracking [83.51092789908677]
  本稿では,自己/横断的意図に着想を得た,新たなターゲット依存型特徴ネットワークを提案する。 我々のネットワークは機能ネットワークの複数の層にクロスイメージの特徴相関を深く埋め込んでいる。 我々のモデルは、豊富な未ペア画像に対して柔軟に事前訓練が可能であり、既存の手法よりも顕著に高速な収束をもたらす。
  論文  参考訳（メタデータ） (2022-03-03T11:53:54Z)
• MFGNet: Dynamic Modality-Aware Filter Generation for RGB-T Tracking [72.65494220685525]
  可視データと熱データ間のメッセージ通信を促進するために,新しい動的モダリティ対応フィルタ生成モジュール(MFGNet)を提案する。 我々は、2つの独立ネットワークを持つ動的モダリティ対応フィルタを生成し、その可視フィルタとサーマルフィルタをそれぞれ、対応する入力特徴写像上で動的畳み込み演算を行う。 重閉塞,高速移動,外見による問題に対処するため,新たな方向認識型目標誘導型アテンション機構を活用することで,共同で局所的・グローバル検索を行うことを提案する。
  論文  参考訳（メタデータ） (2021-07-22T03:10:51Z)
• One Point is All You Need: Directional Attention Point for Feature Learning [51.44837108615402]
  ポイントクラウド分類やセグメンテーションなどのタスクのポイント機能強化を学習するための新しい注意ベースのメカニズムを提示する。 我々は,最先端のクラウド分類とセグメンテーションネットワークに注目機構を組み込むことができることを示す。
  論文  参考訳（メタデータ） (2020-12-11T11:45:39Z)
• DS-Net: Dynamic Spatiotemporal Network for Video Salient Object Detection [78.04869214450963]
  時間情報と空間情報のより効果的な融合のための新しい動的時空間ネットワーク(DSNet)を提案する。 提案手法は最先端アルゴリズムよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-12-09T06:42:30Z)
• Rotate to Attend: Convolutional Triplet Attention Module [21.228370317693244]
  3分岐構造を用いた新しい注意重み計算法である三重項注意法を提案する。 本手法は単純かつ効率的であり,アドオンモジュールとして従来のバックボーンネットワークに簡単に接続できる。 ImageNet-1k上の画像分類や,MSCOCOおよびPASCAL VOCデータセット上でのオブジェクト検出など,様々な課題に対する本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-10-06T21:31:00Z)
• Multi-Attention-Network for Semantic Segmentation of Fine Resolution Remote Sensing Images [10.835342317692884]
  リモートセンシング画像におけるセマンティックセグメンテーションの精度は、ディープ畳み込みニューラルネットワークによって著しく向上した。 本稿では,これらの問題に対処するマルチアテンション・ネットワーク(MANet)を提案する。 線形複雑性を伴うカーネル注意の新たなアテンション機構が提案され,注目される計算負荷の低減が図られた。
  論文  参考訳（メタデータ） (2020-09-03T09:08:02Z)
• AttentionNAS: Spatiotemporal Attention Cell Search for Video Classification [86.64702967379709]
  本稿では,時間的注意のための新しい検索空間を提案する。これにより,検索アルゴリズムはセルの様々な設計選択を柔軟に探索することができる。 検出されたアテンションセルは既存のバックボーンネットワーク(例えばI3DやS3D)にシームレスに挿入することができ、Kinetics-600とMiTのデータセットでビデオの精度を2%以上改善することができる。
  論文  参考訳（メタデータ） (2020-07-23T14:30:05Z)
• DanHAR: Dual Attention Network For Multimodal Human Activity Recognition Using Wearable Sensors [9.492607098644536]
  チャネルアテンションと時間アテンションを混合するフレームワークをCNNに導入するDanHARと呼ばれる新しいデュアルアテンション手法を提案する。 DanHARはパラメータの無視可能なオーバーヘッドで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-06-25T14:17:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。