論文の概要: Neural Attention Models in Deep Learning: Survey and Taxonomy
- arxiv url: http://arxiv.org/abs/2112.05909v1
- Date: Sat, 11 Dec 2021 03:35:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-18 15:30:39.733744
- Title: Neural Attention Models in Deep Learning: Survey and Taxonomy
- Title（参考訳）: 深層学習における神経注意モデル:調査と分類
- Authors: Alana Santana and Esther Colombini
- Abstract要約: 注意の概念と機能は哲学、心理学、神経科学、コンピューティングで研究されている。
現在、多くの異なるニューラルアテンションモデルが利用可能であり、過去6年間で非常に活発な研究領域となっている。
本稿では,Deep Learningより前の理論的側面と相関する分類法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Attention is a state of arousal capable of dealing with limited processing
bottlenecks in human beings by focusing selectively on one piece of information
while ignoring other perceptible information. For decades, concepts and
functions of attention have been studied in philosophy, psychology,
neuroscience, and computing. Currently, this property has been widely explored
in deep neural networks. Many different neural attention models are now
available and have been a very active research area over the past six years.
From the theoretical standpoint of attention, this survey provides a critical
analysis of major neural attention models. Here we propose a taxonomy that
corroborates with theoretical aspects that predate Deep Learning. Our taxonomy
provides an organizational structure that asks new questions and structures the
understanding of existing attentional mechanisms. In particular, 17 criteria
derived from psychology and neuroscience classic studies are formulated for
qualitative comparison and critical analysis on the 51 main models found on a
set of more than 650 papers analyzed. Also, we highlight several theoretical
issues that have not yet been explored, including discussions about biological
plausibility, highlight current research trends, and provide insights for the
future.
- Abstract（参考訳）: 注意は、ある情報に選択的に焦点を合わせ、他の知覚可能な情報を無視して、人間の限られた処理ボトルネックに対処できる覚醒状態である。
何十年もの間、哲学、心理学、神経科学、計算の分野で注目される概念と機能が研究されてきた。
現在、この性質はディープニューラルネットワークで広く研究されている。
現在、多くの異なるニューラルアテンションモデルが利用可能であり、過去6年間で非常に活発な研究領域となっている。
注意の理論的な観点からは、本研究は主要な神経注意モデルの批判的分析を提供する。
本稿では,深層学習に先行する理論的側面を裏付ける分類法を提案する。
我々の分類学は、新しい質問と既存の注意機構の理解を構造化する組織構造を提供する。
特に、心理学と神経科学の古典研究から得られた17の基準を定式化し、650以上の論文から得られた51のモデルについて定性的比較と批判的分析を行った。
また,生物の可視性に関する議論,最近の研究動向の強調,今後の展望など,まだ検討されていないいくつかの理論的課題を強調した。
関連論文リスト
- Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian
Learning and Free Energy Minimization [55.11642177631929]
大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。
我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
論文 参考訳（メタデータ） (2023-10-14T23:28:48Z) - Towards Data-and Knowledge-Driven Artificial Intelligence: A Survey on Neuro-Symbolic Computing [73.0977635031713]
ニューラルシンボリック・コンピューティング(NeSy)は、人工知能(AI)の活発な研究領域である。
NeSyは、ニューラルネットワークにおける記号表現の推論と解釈可能性の利点と堅牢な学習の整合性を示す。
論文 参考訳（メタデータ） (2022-10-28T04:38:10Z) - Neural Fields in Visual Computing and Beyond [54.950885364735804]
機械学習の最近の進歩は、座標ベースニューラルネットワークを用いた視覚コンピューティング問題の解決への関心が高まっている。
ニューラルネットワークは、3D形状と画像の合成、人体のアニメーション、3D再構成、ポーズ推定に成功している。
本報告は、文脈、数学的基礎、および、ニューラルネットワークに関する文献の広範なレビューを提供する。
論文 参考訳（メタデータ） (2021-11-22T18:57:51Z) - Information theoretic analysis of computational models as a tool to
understand the neural basis of behaviors [0.0]
今世紀最大の研究課題の1つは、脳の身体環境システムにおける行動の神経基盤を理解することである。
計算モデルは、モデルシステムを研究することができる別のフレームワークを提供する。
本稿では,計算モデルの情報理論解析が強力な研究手法であることを示すための紹介,レビュー,議論を行う。
論文 参考訳（メタデータ） (2021-06-02T02:08:18Z) - Attention, please! A survey of Neural Attention Models in Deep Learning [0.0]
ディープラーニングの最先端は、いくつかのアプリケーションドメインの神経注意モデルによって表されます。
この調査は、神経注意モデルの発展の包括的な概要と分析を提供します。
論文 参考訳（メタデータ） (2021-03-31T02:42:28Z) - Topic Modelling Meets Deep Neural Networks: A Survey [25.950652301810425]
トピックモデリングは、ほぼ20年間、テキスト分析に成功した技術です。
トピックモデリングがディープニューラルネットワークと出会うと、新しく普及する研究領域であるニューラルトピックモデルが出現した。
本稿では,AIコミュニティの研究者を対象とした,ニューラルネットワークモデルの概要について概説する。
論文 参考訳（メタデータ） (2021-02-28T12:59:28Z) - Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。
ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。
提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文 参考訳（メタデータ） (2020-09-01T09:07:25Z) - Deep Reinforcement Learning and its Neuroscientific Implications [19.478332877763417]
強力な人工知能の出現は、神経科学の新しい研究方向を定義している。
深層強化学習(Deep RL)は、学習、表現、意思決定の間の相互作用を研究するための枠組みを提供する。
Deep RLは、新しい研究ツールセットと、幅広い新しい仮説を提供する。
論文 参考訳（メタデータ） (2020-07-07T19:27:54Z) - Towards a Neural Model for Serial Order in Frontal Cortex: a Brain
Theory from Memory Development to Higher-Level Cognition [53.816853325427424]
そこで本研究では,未熟な前頭前野 (PFC) が側頭葉信号の階層的パターンを検出する主要な機能を利用していることを提案する。
我々の仮説では、PFCは順序パターンの形で時間的配列の階層構造を検出し、それらを脳の異なる部分で階層的に情報をインデックスするために利用する。
これにより、抽象的な知識を操作し、時間的に順序付けられた情報を計画するための言語対応の脳にツールを提供する。
論文 参考訳（メタデータ） (2020-05-22T14:29:51Z) - On Interpretability of Artificial Neural Networks: A Survey [21.905647127437685]
我々は、ニューラルネットワークのメカニズムを理解するための最近の研究を体系的にレビューし、特に医学における解釈可能性の応用について述べる。
本稿では,ファジィ論理や脳科学などの解釈可能性研究の今後の方向性について論じる。
論文 参考訳（メタデータ） (2020-01-08T13:40:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。