論文の概要: Attention, please! A survey of Neural Attention Models in Deep Learning
- arxiv url: http://arxiv.org/abs/2103.16775v1
- Date: Wed, 31 Mar 2021 02:42:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-01 14:49:04.499281
- Title: Attention, please! A survey of Neural Attention Models in Deep Learning
- Title（参考訳）: 気を付けて!
深層学習における神経注意モデルの検討
- Authors: Alana de Santana Correia, Esther Luna Colombini
- Abstract要約: ディープラーニングの最先端は、いくつかのアプリケーションドメインの神経注意モデルによって表されます。
この調査は、神経注意モデルの発展の包括的な概要と分析を提供します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In humans, Attention is a core property of all perceptual and cognitive
operations. Given our limited ability to process competing sources, attention
mechanisms select, modulate, and focus on the information most relevant to
behavior. For decades, concepts and functions of attention have been studied in
philosophy, psychology, neuroscience, and computing. For the last six years,
this property has been widely explored in deep neural networks. Currently, the
state-of-the-art in Deep Learning is represented by neural attention models in
several application domains. This survey provides a comprehensive overview and
analysis of developments in neural attention models. We systematically reviewed
hundreds of architectures in the area, identifying and discussing those in
which attention has shown a significant impact. We also developed and made
public an automated methodology to facilitate the development of reviews in the
area. By critically analyzing 650 works, we describe the primary uses of
attention in convolutional, recurrent networks and generative models,
identifying common subgroups of uses and applications. Furthermore, we describe
the impact of attention in different application domains and their impact on
neural networks' interpretability. Finally, we list possible trends and
opportunities for further research, hoping that this review will provide a
succinct overview of the main attentional models in the area and guide
researchers in developing future approaches that will drive further
improvements.
- Abstract（参考訳）: 人間では、注意は知覚と認知の全ての操作の中核的な性質である。
競合するソースを処理する能力に制限があるため、アテンションメカニズムは行動に最も関係のある情報を選択し、調整し、フォーカスする。
何十年もの間、哲学、心理学、神経科学、計算の分野で注目される概念と機能が研究されてきた。
この6年間、この性質はディープニューラルネットワークで広く研究されてきた。
現在、Deep Learningの最先端技術は、いくつかのアプリケーションドメインにおけるニューラルアテンションモデルによって表現されている。
本調査は,神経注意モデルにおける発達の包括的概要と解析を提供する。
我々は、この領域における数百のアーキテクチャを体系的にレビューし、注目が大きな影響を与えているアーキテクチャを特定し、議論した。
また,この領域におけるレビューの展開を容易にするための自動化手法を開発し,公開した。
650の作品を批判的に分析することにより,畳み込み,再帰的ネットワーク,生成モデルにおける注意の第一の用途を説明し,用途と応用の共通部分群を同定する。
さらに、異なるアプリケーション領域における注意の影響と、ニューラルネットワークの解釈可能性への影響について述べる。
最後に、今後の研究動向と機会をリストアップし、このレビューがこの地域の主な注目モデルの概要を簡潔に提供し、さらなる改善を促す将来のアプローチの開発に研究者を導くことを期待する。
関連論文リスト
- Trends, Applications, and Challenges in Human Attention Modelling [65.61554471033844]
人間の注意モデリングは視覚探索の基礎となる認知過程を理解するのに特に有用であることが証明されている。
画像やビデオ処理、視覚・言語アプリケーション、言語モデリングなど、さまざまな領域の問題を解決することを目的とした人工知能モデルのサポートを提供する。
論文 参考訳（メタデータ） (2024-02-28T19:35:30Z) - Towards Data-and Knowledge-Driven Artificial Intelligence: A Survey on Neuro-Symbolic Computing [73.0977635031713]
ニューラルシンボリック・コンピューティング(NeSy)は、人工知能(AI)の活発な研究領域である。
NeSyは、ニューラルネットワークにおける記号表現の推論と解釈可能性の利点と堅牢な学習の整合性を示す。
論文 参考訳（メタデータ） (2022-10-28T04:38:10Z) - BI AVAN: Brain inspired Adversarial Visual Attention Network [67.05560966998559]
機能的脳活動から直接人間の視覚的注意を特徴付ける脳誘発対人視覚注意ネットワーク(BI-AVAN)を提案する。
本モデルは,人間の脳が監督されていない方法で焦点を絞った映画フレーム内の視覚的物体を識別・発見するために,注意関連・無視対象間の偏りのある競合過程を模倣する。
論文 参考訳（メタデータ） (2022-10-27T22:20:36Z) - Survey on Applications of Neurosymbolic Artificial Intelligence [37.7665470475176]
本稿では,ニューロシンボリックな応用の分類法を導入し,各領域の最先端を概説する。
我々は、この急成長する分野の将来に関する重要なトレンドを特定し、新たな視点を提供する。
論文 参考訳（メタデータ） (2022-09-08T18:18:41Z) - Attention Mechanism in Neural Networks: Where it Comes and Where it Goes [0.0]
機械学習の文献では、人間の視覚システムにインスパイアされたメカニズムをニューラルネットワークに組み込むというアイデアが古くから存在していました。
本研究の目的は、研究者が現在の発展を探求し、注目以上の新しいアプローチにインスピレーションを得るためのロードマップを提供することである。
論文 参考訳（メタデータ） (2022-04-27T19:29:09Z) - Visual Attention Methods in Deep Learning: An In-Depth Survey [37.18104595529633]
人間の認知システムにインスパイアされた注意は、特定の情報に対する人間の認知意識を模倣するメカニズムである。
ディープラーニングは多くのアプリケーションのパフォーマンス向上に注意を払っています。
この文献は、深層モデルに注意を向ける研究者を導くための注意技術に関する包括的な調査を欠いている。
論文 参考訳（メタデータ） (2022-04-16T08:57:00Z) - Neural Attention Models in Deep Learning: Survey and Taxonomy [0.0]
注意の概念と機能は哲学、心理学、神経科学、コンピューティングで研究されている。
現在、多くの異なるニューラルアテンションモデルが利用可能であり、過去6年間で非常に活発な研究領域となっている。
本稿では,Deep Learningより前の理論的側面と相関する分類法を提案する。
論文 参考訳（メタデータ） (2021-12-11T03:35:33Z) - Neural Fields in Visual Computing and Beyond [54.950885364735804]
機械学習の最近の進歩は、座標ベースニューラルネットワークを用いた視覚コンピューティング問題の解決への関心が高まっている。
ニューラルネットワークは、3D形状と画像の合成、人体のアニメーション、3D再構成、ポーズ推定に成功している。
本報告は、文脈、数学的基礎、および、ニューラルネットワークに関する文献の広範なレビューを提供する。
論文 参考訳（メタデータ） (2021-11-22T18:57:51Z) - Affect Analysis in-the-wild: Valence-Arousal, Expressions, Action Units
and a Unified Framework [83.21732533130846]
Aff-Wild と Aff-Wild2 の2つである。
これは、これらのデータベースで訓練された深層ニューラルネットワークの2つのクラスの設計を示す。
インパクト認識を共同で学び、効果的に一般化し、実行することができる新しいマルチタスクおよび全体主義のフレームワークが提示されます。
論文 参考訳（メタデータ） (2021-03-29T17:36:20Z) - Topic Modelling Meets Deep Neural Networks: A Survey [25.950652301810425]
トピックモデリングは、ほぼ20年間、テキスト分析に成功した技術です。
トピックモデリングがディープニューラルネットワークと出会うと、新しく普及する研究領域であるニューラルトピックモデルが出現した。
本稿では,AIコミュニティの研究者を対象とした,ニューラルネットワークモデルの概要について概説する。
論文 参考訳（メタデータ） (2021-02-28T12:59:28Z) - Deep Reinforced Attention Learning for Quality-Aware Visual Recognition [73.15276998621582]
我々は,任意の畳み込みニューラルネットワークにおける中間注意マップの弱教師付き生成機構を構築した。
メタ批評家ネットワークを導入し、メインネットワークにおける注目マップの質を評価する。
論文 参考訳（メタデータ） (2020-07-13T02:44:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。