論文の概要: Global Attention Mechanism: Retain Information to Enhance Channel-Spatial Interactions

• arxiv url: http://arxiv.org/abs/2112.05561v1
• Date: Fri, 10 Dec 2021 14:12:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-13 14:46:48.038537
• Title: Global Attention Mechanism: Retain Information to Enhance Channel-Spatial Interactions
• Title（参考訳）: グローバルアテンションメカニズム:チャネルと空間の相互作用を促進する情報を保持する
• Authors: Yichao Liu, Zongru Shao, Nico Hoffmann
• Abstract要約: 本稿では,情報低減とグローバルな対話表現の増大により,ディープニューラルネットワークの性能を高めるグローバルアテンション機構を提案する。 CIFAR-100 と ImageNet-1K による画像分類処理の機構の評価は,ResNet と軽量 MobileNet の双方による近年の注目機構を安定的に上回っていることを示す。
• 参考スコア（独自算出の注目度）: 1.4438155481047366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A variety of attention mechanisms have been studied to improve the performance of various computer vision tasks. However, the prior methods overlooked the significance of retaining the information on both channel and spatial aspects to enhance the cross-dimension interactions. Therefore, we propose a global attention mechanism that boosts the performance of deep neural networks by reducing information reduction and magnifying the global interactive representations. We introduce 3D-permutation with multilayer-perceptron for channel attention alongside a convolutional spatial attention submodule. The evaluation of the proposed mechanism for the image classification task on CIFAR-100 and ImageNet-1K indicates that our method stably outperforms several recent attention mechanisms with both ResNet and lightweight MobileNet.
• Abstract（参考訳）: 様々なコンピュータビジョンタスクの性能向上のために,様々な注意機構が研究されている。 しかし, 従来の手法では, チャネル面と空間面の両方に情報を保持することの重要性を軽視し, 対次元相互作用を強化する。 そこで我々は,情報低減とグローバルな対話表現の増大により,ディープニューラルネットワークの性能を高めるグローバルアテンション機構を提案する。 畳み込み空間アテンションサブモジュールと並行してチャネルアテンションのための多層パーセプトロンを用いた3D-permutationを導入する。 CIFAR-100 と ImageNet-1K による画像分類処理の機構の評価は,ResNet と軽量 MobileNet の双方による近年の注目機構を安定的に上回っていることを示す。

関連論文リスト

• CAT: Learning to Collaborate Channel and Spatial Attention from Multi-Information Fusion [23.72040577828098]
  本稿では,空間とチャネルのアテンション間の協調を活性化する「CAT」と呼ばれるプラグイン・アンド・プレイアテンション・モジュールを提案する。 具体的には、特徴を訓練可能な係数(コラ因子)として表現し、異なる注意モジュールの寄与を適応的に組み合わせる。 我々のCATは、オブジェクト検出、インスタンスセグメンテーション、画像分類において、既存の最先端の注意機構よりも優れています。
  論文  参考訳（メタデータ） (2022-12-13T02:34:10Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Improving Speech Emotion Recognition Through Focus and Calibration Attention Mechanisms [0.5994412766684842]
  既存のマルチヘッド自己注意における注意と信号振幅の相違を同定する。 そこで本研究では,マルチヘッド・セルフアテンションと組み合わせて,フォーカス・アテンション(FA)機構とノベル・アテンション(CA)機構を提案する。 CA機構を利用することで、異なる重みをそれぞれのアテンションヘッドに割り当てることで、情報フローを変調し、周囲のコンテキストの利用を改善することができる。
  論文  参考訳（メタデータ） (2022-08-21T08:04:22Z)
• A Discriminative Channel Diversification Network for Image Classification [21.049734250642974]
  そこで本稿では,グローバルなコンテキストを改善するために,チャネル多様化ブロックと呼ばれる軽量で効果的なアテンションモジュールを提案する。 他のチャネルアテンション機構とは異なり、提案モジュールは最も識別性の高い特徴に焦点を当てている。 CIFAR-10、SVHN、Tiny-ImageNetのデータセットに対する実験により、提案モジュールはベースラインネットワークの性能を平均で3%向上することを示した。
  論文  参考訳（メタデータ） (2021-12-10T23:00:53Z)
• Attention Mechanisms in Computer Vision: A Survey [75.6074182122423]
  本稿では,コンピュータビジョンにおける様々な注意機構について概観する。 チャネルアテンション,空間アテンション,時間アテンション,分岐アテンションなど,アプローチによって分類する。 我々は注意機構研究の今後の方向性を提案する。
  論文  参考訳（メタデータ） (2021-11-15T09:18:40Z)
• Alignment Attention by Matching Key and Query Distributions [48.93793773929006]
  本稿では,各ヘッダ内のキーとクエリの分布を一致させる自己注意を促すアライメントアテンションアテンションアテンションアテンションアテンションを導入している。 事前学習したモデルを含む自己注意のモデルはすべて、提案したアライメントアテンションアテンションアテンションに変換することが簡単である。 様々な言語理解タスクにおいて, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃に対する堅牢性などの手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-10-25T00:54:57Z)
• Variational Structured Attention Networks for Deep Visual Representation Learning [49.80498066480928]
  空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。 具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。 ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
  論文  参考訳（メタデータ） (2021-03-05T07:37:24Z)
• Multi-stage Attention ResU-Net for Semantic Segmentation of Fine-Resolution Remote Sensing Images [9.398340832493457]
  この問題に対処するための線形注意機構(LAM)を提案する。 LAMは、計算効率の高いドット積アテンションとほぼ同値である。 微細なリモートセンシング画像からのセマンティックセグメンテーションのためのマルチステージアテンションResU-Netを設計する。
  論文  参考訳（メタデータ） (2020-11-29T07:24:21Z)
• Rotate to Attend: Convolutional Triplet Attention Module [21.228370317693244]
  3分岐構造を用いた新しい注意重み計算法である三重項注意法を提案する。 本手法は単純かつ効率的であり,アドオンモジュールとして従来のバックボーンネットワークに簡単に接続できる。 ImageNet-1k上の画像分類や,MSCOCOおよびPASCAL VOCデータセット上でのオブジェクト検出など,様々な課題に対する本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-10-06T21:31:00Z)
• Single Image Super-Resolution via a Holistic Attention Network [87.42409213909269]
  本稿では,階層,チャネル,位置間の全体的相互依存性をモデル化するための新しい全体論的注意ネットワーク(HAN)を提案する。 提案したHANは階層的特徴を適応的に強調し,層間相関を考慮した。 実験により、提案HANは、最先端の単一画像超解像アプローチに対して好適に機能することが示された。
  論文  参考訳（メタデータ） (2020-08-20T04:13:15Z)
• Deep Reinforced Attention Learning for Quality-Aware Visual Recognition [73.15276998621582]
  我々は,任意の畳み込みニューラルネットワークにおける中間注意マップの弱教師付き生成機構を構築した。 メタ批評家ネットワークを導入し、メインネットワークにおける注目マップの質を評価する。
  論文  参考訳（メタデータ） (2020-07-13T02:44:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。