論文の概要: Evolving Attention with Residual Convolutions
- arxiv url: http://arxiv.org/abs/2102.12895v1
- Date: Sat, 20 Feb 2021 15:24:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-05 00:44:16.199259
- Title: Evolving Attention with Residual Convolutions
- Title(参考訳): 余剰畳み込みを伴う注目の進化
- Authors: Yujing Wang, Yaming Yang, Jiangang Bai, Mingliang Zhang, Jing Bai,
Jing Yu, Ce Zhang, Gao Huang, Yunhai Tong
- Abstract要約: 本稿では,変圧器の性能向上を目的とした新しいメカニズムを提案する。
提案された注意メカニズムは、複数のタスクに対する様々な最新モデルに対する大幅なパフォーマンス改善を実現する。
- 参考スコア(独自算出の注目度): 29.305149185821882
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformer is a ubiquitous model for natural language processing and has
attracted wide attentions in computer vision. The attention maps are
indispensable for a transformer model to encode the dependencies among input
tokens. However, they are learned independently in each layer and sometimes
fail to capture precise patterns. In this paper, we propose a novel and generic
mechanism based on evolving attention to improve the performance of
transformers. On one hand, the attention maps in different layers share common
knowledge, thus the ones in preceding layers can instruct the attention in
succeeding layers through residual connections. On the other hand, low-level
and high-level attentions vary in the level of abstraction, so we adopt
convolutional layers to model the evolutionary process of attention maps. The
proposed evolving attention mechanism achieves significant performance
improvement over various state-of-the-art models for multiple tasks, including
image classification, natural language understanding and machine translation.
- Abstract(参考訳): Transformerは自然言語処理のユビキタスモデルであり、コンピュータビジョンにおいて広く注目を集めている。
入力トークン間の依存関係をエンコードするトランスモデルには,アテンションマップが不可欠である。
しかし、それらは各層で独立して学習され、時には正確なパターンを捉えることができない。
本稿では, 変圧器の性能向上のために, 進化的注意に基づく新しい汎用機構を提案する。
一方、異なる層におけるアテンションマップは共通の知識を共有しており、従って前層のアテンションマップは、残差接続を通じて、後続層のアテンションを指示することができる。
一方、低レベルおよび高レベルの注意は抽象化のレベルによって異なるため、注意マップの進化過程をモデル化するために畳み込み層を採用する。
提案手法は, 画像分類, 自然言語理解, 機械翻訳など, 各種タスクの最先端モデルに対して, 大幅な性能向上を実現する。
関連論文リスト
- AttentionViz: A Global View of Transformer Attention [60.82904477362676]
本研究では,変圧器の自己保持機構を研究者が理解するための新しい可視化手法を提案する。
提案手法の背景にある主な考え方は,問合せとキーベクトルの結合埋め込みを可視化し,注意力を計算することである。
このような共同クエリキーの埋め込みに基づいて,インタラクティブな可視化ツールであるAttentionVizを開発した。
論文 参考訳(メタデータ) (2023-05-04T23:46:49Z) - Convolution-enhanced Evolving Attention Networks [41.684265133316096]
Evolving Attention-enhanced Dilated Convolutional (EA-DC-) Transformerは最先端のモデルを大幅に上回っている。
これは、アテンションマップのレイヤーワイド進化を明示的にモデル化する最初の作品である。
論文 参考訳(メタデータ) (2022-12-16T08:14:04Z) - Multi-manifold Attention for Vision Transformers [12.862540139118073]
ビジョントランスフォーマーは、いくつかのコンピュータビジョンタスクにおける最先端の性能のために、今日では非常に人気がある。
本研究では, 変圧器のバニラ自己注意の代替として, マルチマニフォールドマルチヘッドアテンションと呼ばれる新しいアテンション機構を提案する。
論文 参考訳(メタデータ) (2022-07-18T12:53:53Z) - Assessing the Impact of Attention and Self-Attention Mechanisms on the
Classification of Skin Lesions [0.0]
注意モジュールと自己注意という,2種類の注意機構に注目した。
注意モジュールは各層入力テンソルの特徴を再重み付けするために使用される。
自己認識(Self-Attention)は、元々自然言語処理の分野で提案されていたもので、入力シーケンス内のすべての項目を関連付けることができる。
論文 参考訳(メタデータ) (2021-12-23T18:02:48Z) - Less is More: Pay Less Attention in Vision Transformers [61.05787583247392]
注意の少ないvIsion Transformerは、畳み込み、完全接続層、自己アテンションが、画像パッチシーケンスを処理するためにほぼ同等な数学的表現を持つという事実に基づいている。
提案したLITは、画像分類、オブジェクト検出、インスタンス分割を含む画像認識タスクにおいて有望な性能を達成する。
論文 参考訳(メタデータ) (2021-05-29T05:26:07Z) - Generic Attention-model Explainability for Interpreting Bi-Modal and
Encoder-Decoder Transformers [78.26411729589526]
トランスフォーマーアーキテクチャによる予測を説明する最初の方法を提案する。
本手法は,一様説明性に適応した既存手法よりも優れている。
論文 参考訳(メタデータ) (2021-03-29T15:03:11Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳(メタデータ) (2021-03-22T18:00:13Z) - Multi-Head Attention: Collaborate Instead of Concatenate [85.71058762269374]
我々は,頭部が共有投影を学習できる,協調的な多面的アテンション層を提案する。
実験により、キー/クエリの次元の共有は言語理解、機械翻訳、ビジョンに活用できることを確認した。
論文 参考訳(メタデータ) (2020-06-29T20:28:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。