論文の概要: Towards Understanding the Effectiveness of Attention Mechanism
- arxiv url: http://arxiv.org/abs/2106.15067v1
- Date: Tue, 29 Jun 2021 02:58:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-30 15:39:38.094123
- Title: Towards Understanding the Effectiveness of Attention Mechanism
- Title（参考訳）: 注意機構の有効性の理解に向けて
- Authors: Xiang Ye and Zihang He and Heng Wang and Yong Li
- Abstract要約: 特徴の注意重みとその重要性の間には、弱い一貫性しか存在しないことが分かっています。
フィーチャーマップの乗算によって高次非線形性がもたらされたため、CNNでは正規化の役割を担った。
本稿では,ResNetにおける特徴マップの追加を特徴マップ乗算に置き換えることで,特徴マップ乗算ネットワーク(FMMNet)を設計する。
- 参考スコア（独自算出の注目度）: 7.809333418199897
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Attention Mechanism is a widely used method for improving the performance of
convolutional neural networks (CNNs) on computer vision tasks. Despite its
pervasiveness, we have a poor understanding of what its effectiveness stems
from. It is popularly believed that its effectiveness stems from the visual
attention explanation, advocating focusing on the important part of input data
rather than ingesting the entire input. In this paper, we find that there is
only a weak consistency between the attention weights of features and their
importance. Instead, we verify the crucial role of feature map multiplication
in attention mechanism and uncover a fundamental impact of feature map
multiplication on the learned landscapes of CNNs: with the high order
non-linearity brought by the feature map multiplication, it played a
regularization role on CNNs, which made them learn smoother and more stable
landscapes near real samples compared to vanilla CNNs. This smoothness and
stability induce a more predictive and stable behavior in-between real samples,
and make CNNs generate better. Moreover, motivated by the proposed
effectiveness of feature map multiplication, we design feature map
multiplication network (FMMNet) by simply replacing the feature map addition in
ResNet with feature map multiplication. FMMNet outperforms ResNet on various
datasets, and this indicates that feature map multiplication plays a vital role
in improving the performance even without finely designed attention mechanism
in existing methods.
- Abstract（参考訳）: 注意機構はコンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の性能を改善するために広く用いられている手法である。
その広汎性にもかかわらず、その有効性についてはあまり理解していない。
その効果は、入力全体を摂取するのではなく、入力データの重要な部分に焦点を当てた視覚的注意説明に由来すると一般に信じられている。
本稿では,特徴の注意重みと重要度との間には,弱い一貫性しかないことを見出した。
特徴マップの乗算によってもたらされる高階の非線形性により、cnnはcnnsにおいて正規化の役割を担い、実際のcnnと比較して実際のサンプルに近いスムースでより安定したランドスケープを学ぶことができた。
この滑らかさと安定性は、実際のサンプル間のより予測可能で安定した動作を誘発し、cnnをより良く生成する。
さらに,特徴マップ乗算の有効性が提案されていることから,ResNetにおける特徴マップ加算を特徴マップ乗算に置き換えることで特徴マップ乗算ネットワーク(FMMNet)を設計する。
FMMNetは、さまざまなデータセット上でResNetより優れており、既存のメソッドで微妙に設計された注意機構がなくても、機能マップの乗算がパフォーマンスを改善する上で重要な役割を果たすことを示している。
関連論文リスト
- Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。
常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。
SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
論文 参考訳（メタデータ） (2023-08-19T08:17:41Z) - Influencer Detection with Dynamic Graph Neural Networks [56.1837101824783]
インフルエンサー検出のための動的グラフニューラルネットワーク(GNN)の構成について検討する。
GNNにおける深層多面的注意と時間特性の符号化が性能を著しく向上させることを示す。
論文 参考訳（メタデータ） (2022-11-15T13:00:25Z) - A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。
Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。
我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
論文 参考訳（メタデータ） (2022-10-27T13:24:08Z) - Invariant Causal Mechanisms through Distribution Matching [86.07327840293894]
本研究では、因果的視点と不変表現を学習するための新しいアルゴリズムを提供する。
実験により,このアルゴリズムは様々なタスク群でうまく動作し,特にドメインの一般化における最先端のパフォーマンスを観察する。
論文 参考訳（メタデータ） (2022-06-23T12:06:54Z) - Self-Supervised Implicit Attention: Guided Attention by The Model Itself [1.3406858660972554]
我々は、深層ニューラルネットワークモデルに適応的に誘導し、モデル自体の特性を活用する新しいアプローチである、自己監視インシシット注意(SSIA:Self-Supervised Implicit Attention)を提案する。
SSIAAは、推論中に余分なパラメータ、計算、メモリアクセスコストを必要としない新しいアテンションメカニズムである。
私たちの実装はGitHubで公開されます。
論文 参考訳（メタデータ） (2022-06-15T10:13:34Z) - TDAN: Top-Down Attention Networks for Enhanced Feature Selectivity in
CNNs [18.24779045808196]
本稿では,トップダウンチャネルと空間変調を行うために,視覚検索ライトを反復的に生成する軽量なトップダウンアテンションモジュールを提案する。
我々のモデルは、推論中の入力解像度の変化に対してより堅牢であり、個々のオブジェクトや特徴を明示的な監督なしに各計算ステップでローカライズすることで、注意を"シフト"することを学ぶ。
論文 参考訳（メタデータ） (2021-11-26T12:35:17Z) - Bayesian Attention Belief Networks [59.183311769616466]
注意に基づくニューラルネットワークは、幅広いタスクにおいて最先端の結果を得た。
本稿では,非正規化注意重みをモデル化してデコーダネットワークを構築するベイズ的注意信念ネットワークについて紹介する。
提案手法は, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃において, 決定論的注意と最先端の注意よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-06-09T17:46:22Z) - LFI-CAM: Learning Feature Importance for Better Visual Explanation [31.743421292094308]
クラスアクティベーションマッピング(CAM)は、コンピュータビジョンにおける畳み込みニューラルネットワーク(CNN)の意思決定を理解するために使用される強力な技術です。
本稿では,画像分類と視覚的説明をエンドツーエンドで訓練可能な新しいアーキテクチャ LFI-CAM を提案する。
論文 参考訳（メタデータ） (2021-05-03T15:12:21Z) - Multi-stage Attention ResU-Net for Semantic Segmentation of
Fine-Resolution Remote Sensing Images [9.398340832493457]
この問題に対処するための線形注意機構(LAM)を提案する。
LAMは、計算効率の高いドット積アテンションとほぼ同値である。
微細なリモートセンシング画像からのセマンティックセグメンテーションのためのマルチステージアテンションResU-Netを設計する。
論文 参考訳（メタデータ） (2020-11-29T07:24:21Z) - Non-Linearities Improve OrigiNet based on Active Imaging for Micro
Expression Recognition [8.112868317921853]
ビデオの表現領域におけるアクティブな変化を1フレームに分離するために,能動画像の概念を導入する。
ビデオ中のマイクロ表現の重要な特徴を効率的に学習する,ハイブリッド局所受容場に基づく拡張現実ネットワーク(OrigiNet)を提案する。
論文 参考訳（メタデータ） (2020-05-16T13:44:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。