Fugu-MT 論文翻訳(概要): A General Survey on Attention Mechanisms in Deep Learning

論文の概要: A General Survey on Attention Mechanisms in Deep Learning

arxiv url: http://arxiv.org/abs/2203.14263v1
Date: Sun, 27 Mar 2022 10:06:23 GMT
ステータス: 処理完了
システム内更新日: 2022-03-29 16:03:59.521252
Title: A General Survey on Attention Mechanisms in Deep Learning
Title（参考訳）: 深層学習における注意メカニズムに関する総合調査
Authors: Gianni Brauwers and Flavius Frasincar
Abstract要約: この調査は、文献で提案されている最も重要な注意機構の概要を提供する。種々の注意機構は、一般的な注意モデル、一様表記法、および注意機構の包括的分類法からなる枠組みを用いて説明される。
参考スコア（独自算出の注目度）: 7.5537115673774275
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Attention is an important mechanism that can be employed for a variety of deep learning models across many different domains and tasks. This survey provides an overview of the most important attention mechanisms proposed in the literature. The various attention mechanisms are explained by means of a framework consisting of a general attention model, uniform notation, and a comprehensive taxonomy of attention mechanisms. Furthermore, the various measures for evaluating attention models are reviewed, and methods to characterize the structure of attention models based on the proposed framework are discussed. Last, future work in the field of attention models is considered.
Abstract（参考訳）: 注意力は、さまざまなドメインやタスクにわたるさまざまなディープラーニングモデルに活用可能な、重要なメカニズムである。本研究は,文献に提案されている最も重要な注意メカニズムの概要を述べる。様々な注意機構は、一般的な注意モデル、一様表記、および注意機構の包括的な分類からなる枠組みによって説明される。さらに,注意モデル評価のための様々な尺度について検討し,提案手法に基づいて注意モデルの構造を特徴付ける手法について検討した。最後に,注意モデルの分野における今後の取り組みについて考察する。

関連論文リスト

On the Anatomy of Attention [0.0]
本稿では、機械学習モデルについて体系的に関連付け、推論するために、カテゴリ理論図式形式を導入する。我々の図は直感的にアーキテクチャを提示するが、重要な詳細を欠くことなく、モデル間の自然な関係はグラフィカルな変換によって捉えられる。
論文参考訳（メタデータ） (2024-07-02T16:50:26Z)
Enhancing Efficiency in Vision Transformer Networks: Design Techniques and Insights [5.798431829723857]
本稿では、視覚変換器(ViT)ネットワークにおける注意機構の設計手法と洞察を包括的に探求する。再設計したアプローチを応用した,ViT内の様々な注意機構の系統分類法を提案する。この分析には、新規性、強み、弱み、そして提案された様々な戦略の詳細な評価が含まれる。
論文参考訳（メタデータ） (2024-03-28T23:31:59Z)
Enhancing Generative Class Incremental Learning Performance with Model Forgetting Approach [50.36650300087987]
本研究は, ジェネレーティブ・クラス・インクリメンタル・ラーニング(GCIL, Generative Class Incremental Learning)への新たなアプローチを提案する。我々は, 忘れる機構の統合により, 新たな知識獲得におけるモデルの性能が著しく向上することを発見した。
論文参考訳（メタデータ） (2024-03-27T05:10:38Z)
AttentionViz: A Global View of Transformer Attention [60.82904477362676]
本研究では,変圧器の自己保持機構を研究者が理解するための新しい可視化手法を提案する。提案手法の背景にある主な考え方は,問合せとキーベクトルの結合埋め込みを可視化し,注意力を計算することである。このような共同クエリキーの埋め込みに基づいて,インタラクティブな可視化ツールであるAttentionVizを開発した。
論文参考訳（メタデータ） (2023-05-04T23:46:49Z)
Attention Mechanisms in Computer Vision: A Survey [75.6074182122423]
本稿では,コンピュータビジョンにおける様々な注意機構について概観する。チャネルアテンション,空間アテンション,時間アテンション,分岐アテンションなど,アプローチによって分類する。我々は注意機構研究の今後の方向性を提案する。
論文参考訳（メタデータ） (2021-11-15T09:18:40Z)
Alignment Attention by Matching Key and Query Distributions [48.93793773929006]
本稿では,各ヘッダ内のキーとクエリの分布を一致させる自己注意を促すアライメントアテンションアテンションアテンションアテンションアテンションを導入している。事前学習したモデルを含む自己注意のモデルはすべて、提案したアライメントアテンションアテンションアテンションに変換することが簡単である。様々な言語理解タスクにおいて, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃に対する堅牢性などの手法の有効性を示す。
論文参考訳（メタデータ） (2021-10-25T00:54:57Z)
How Far Does BERT Look At:Distance-based Clustering and Analysis of BERT$'$s Attention [20.191319097826266]
注意マップを教師なしクラスタリングによって、大きく異なるパターンにクラスタリングします。提案する特徴は,Transformer モデルにおける異なる注意ヘッドのキャリブレーションに利用できる。
論文参考訳（メタデータ） (2020-11-02T12:52:31Z)
Forethought and Hindsight in Credit Assignment [62.05690959741223]
我々は、前向きモデルや後向きモデルによる後向き操作による予測として使われる計画の利益と特異性を理解するために活動する。本稿では,予測を(再)評価すべき状態の選択に主眼を置いて,計画におけるモデルの利用について検討する。
論文参考訳（メタデータ） (2020-10-26T16:00:47Z)
Repulsive Attention: Rethinking Multi-head Attention as Bayesian Inference [68.12511526813991]
ベイズの視点からの多面的注目の新たな理解を提供する。マルチヘッドアテンションにおける反発性を明示的に改善する非パラメトリックアプローチを提案する。様々な注意モデルや応用実験により、提案された反発的注意が学習された特徴の多様性を向上させることが示されている。
論文参考訳（メタデータ） (2020-09-20T06:32:23Z)
Attention Flows: Analyzing and Comparing Attention Mechanisms in Language Models [5.866941279460248]
注意に基づく言語モデルにおける微調整を理解するための視覚分析手法を提案する。私たちの視覚化であるAttention Flowsは、Transformerベースの言語モデルにおいて、レイヤ内のクエリ、トレース、関心の比較をサポートするように設計されています。
論文参考訳（メタデータ） (2020-09-03T19:56:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。