論文の概要: Visual Attention Methods in Deep Learning: An In-Depth Survey
- arxiv url: http://arxiv.org/abs/2204.07756v1
- Date: Sat, 16 Apr 2022 08:57:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-20 09:20:23.465954
- Title: Visual Attention Methods in Deep Learning: An In-Depth Survey
- Title(参考訳): 深層学習における視覚的注意方法:深部調査
- Authors: Mohammed Hassanin, Saeed Anwar, Ibrahim Radwan, Fahad S Khan and Ajmal
Mian
- Abstract要約: 人間の認知システムにインスパイアされた注意は、特定の情報に対する人間の認知意識を模倣するメカニズムである。
ディープラーニングは多くのアプリケーションのパフォーマンス向上に注意を払っています。
この文献は、深層モデルに注意を向ける研究者を導くための注意技術に特化した総合的な調査を欠いている。
- 参考スコア(独自算出の注目度): 34.63996721910475
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Inspired by the human cognitive system, attention is a mechanism that
imitates the human cognitive awareness about specific information, amplifying
critical details to focus more on the essential aspects of data. Deep learning
has employed attention to boost performance for many applications.
Interestingly, the same attention design can suit processing different data
modalities and can easily be incorporated into large networks. Furthermore,
multiple complementary attention mechanisms can be incorporated in one network.
Hence, attention techniques have become extremely attractive. However, the
literature lacks a comprehensive survey specific to attention techniques to
guide researchers in employing attention in their deep models. Note that,
besides being demanding in terms of training data and computational resources,
transformers only cover a single category in self-attention out of the many
categories available. We fill this gap and provide an in-depth survey of 50
attention techniques categorizing them by their most prominent features. We
initiate our discussion by introducing the fundamental concepts behind the
success of attention mechanism. Next, we furnish some essentials such as the
strengths and limitations of each attention category, describe their
fundamental building blocks, basic formulations with primary usage, and
applications specifically for computer vision. We also discuss the challenges
and open questions related to attention mechanism in general. Finally, we
recommend possible future research directions for deep attention.
- Abstract(参考訳): 人間の認知システムにインスパイアされた注意は、特定の情報に対する人間の認知認識を模倣し、重要な詳細を増幅し、データの本質的な側面にフォーカスするメカニズムである。
ディープラーニングは多くのアプリケーションのパフォーマンス向上に注意を払っています。
興味深いことに、同じ注意設計は異なるデータモダリティを処理するのに適しており、簡単に大きなネットワークに組み込むことができる。
さらに、複数の補完的注意機構を1つのネットワークに組み込むことができる。
そのため、注目の技は極めて魅力的になってきている。
しかし、この文献は、深層モデルに注意を向ける研究者を導くための注意技法に特化した総合的な調査を欠いている。
トレーニングデータと計算リソースの面での要求に加えて、トランスフォーマーは利用可能な多くのカテゴリのうち、単一のカテゴリのみをカバーすることに注意してください。
このギャップを埋めて、最も顕著な特徴を分類した50の注意技法の詳細な調査を行う。
我々は注意機構の成功の背後にある基本的な概念を導入することで議論を開始する。
次に,各注目カテゴリーの強みと限界,基本構成要素の説明,初等使用に関する基本的な定式化,特にコンピュータビジョンへの応用など,いくつかの必須事項を提示する。
また,注意機構に関する課題とオープン質問についても概説する。
最後に,今後の研究の方向性を深く検討することを推奨する。
関連論文リスト
- Machine Unlearning: A Survey [56.79152190680552]
プライバシ、ユーザビリティ、および/または忘れられる権利のために、特定のサンプルに関する情報をマシンアンラーニングと呼ばれるモデルから削除する必要がある特別なニーズが生まれている。
この新興技術は、その革新と実用性により、学者と産業の両方から大きな関心を集めている。
この複雑なトピックを分析したり、さまざまなシナリオで既存の未学習ソリューションの実現可能性を比較したりした研究はない。
この調査は、未学習のテクニックに関する卓越した問題と、新しい研究機会のための実現可能な方向性を強調して締めくくった。
論文 参考訳(メタデータ) (2023-06-06T10:18:36Z) - The Quarks of Attention [11.315881995916428]
ディープラーニングでは、自然言語処理などの問題に対処するために、注目に基づくニューラルネットワークが広く使用されている。
我々は、ソース、ターゲット、計算機構の観点から、すべての基本的な注意ブロックを分類する。
我々は、加算活性化注意、乗算出力注意(出力ゲーティング)、乗算シナプス注意(シナプスゲーティング)の3つの重要なメカニズムを特定し、研究する。
論文 参考訳(メタデータ) (2022-02-15T18:47:19Z) - Attention Mechanisms in Computer Vision: A Survey [75.6074182122423]
本稿では,コンピュータビジョンにおける様々な注意機構について概観する。
チャネルアテンション,空間アテンション,時間アテンション,分岐アテンションなど,アプローチによって分類する。
我々は注意機構研究の今後の方向性を提案する。
論文 参考訳(メタデータ) (2021-11-15T09:18:40Z) - Alignment Attention by Matching Key and Query Distributions [48.93793773929006]
本稿では,各ヘッダ内のキーとクエリの分布を一致させる自己注意を促すアライメントアテンションアテンションアテンションアテンションアテンションを導入している。
事前学習したモデルを含む自己注意のモデルはすべて、提案したアライメントアテンションアテンションアテンションに変換することが簡単である。
様々な言語理解タスクにおいて, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃に対する堅牢性などの手法の有効性を示す。
論文 参考訳(メタデータ) (2021-10-25T00:54:57Z) - Attention, please! A survey of Neural Attention Models in Deep Learning [0.0]
ディープラーニングの最先端は、いくつかのアプリケーションドメインの神経注意モデルによって表されます。
この調査は、神経注意モデルの発展の包括的な概要と分析を提供します。
論文 参考訳(メタデータ) (2021-03-31T02:42:28Z) - Repulsive Attention: Rethinking Multi-head Attention as Bayesian
Inference [68.12511526813991]
ベイズの視点からの多面的注目の新たな理解を提供する。
マルチヘッドアテンションにおける反発性を明示的に改善する非パラメトリックアプローチを提案する。
様々な注意モデルや応用実験により、提案された反発的注意が学習された特徴の多様性を向上させることが示されている。
論文 参考訳(メタデータ) (2020-09-20T06:32:23Z) - Deep Reinforced Attention Learning for Quality-Aware Visual Recognition [73.15276998621582]
我々は,任意の畳み込みニューラルネットワークにおける中間注意マップの弱教師付き生成機構を構築した。
メタ批評家ネットワークを導入し、メインネットワークにおける注目マップの質を評価する。
論文 参考訳(メタデータ) (2020-07-13T02:44:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。