論文の概要: Horizontal and Vertical Attention in Transformers
- arxiv url: http://arxiv.org/abs/2207.04399v1
- Date: Sun, 10 Jul 2022 07:08:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-12 14:25:09.590487
- Title: Horizontal and Vertical Attention in Transformers
- Title（参考訳）: 変圧器の水平および垂直方向の注意
- Authors: Litao Yu, Jian Zhang
- Abstract要約: 本稿では,トランスフォーマーの自己認識機構によって特徴マップを増強することを学ぶことによって,特徴表現の強化に焦点をあてる。
本研究では,2つの注意を付加したTransformerモデルについて,教師付き学習タスク間で高い一般化能力を有することを示す。
- 参考スコア（独自算出の注目度）: 7.666971032458147
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformers are built upon multi-head scaled dot-product attention and
positional encoding, which aim to learn the feature representations and token
dependencies. In this work, we focus on enhancing the distinctive
representation by learning to augment the feature maps with the self-attention
mechanism in Transformers. Specifically, we propose the horizontal attention to
re-weight the multi-head output of the scaled dot-product attention before
dimensionality reduction, and propose the vertical attention to adaptively
re-calibrate channel-wise feature responses by explicitly modelling
inter-dependencies among different channels. We demonstrate the Transformer
models equipped with the two attentions have a high generalization capability
across different supervised learning tasks, with a very minor additional
computational cost overhead. The proposed horizontal and vertical attentions
are highly modular, which can be inserted into various Transformer models to
further improve the performance. Our code is available in the supplementary
material.
- Abstract（参考訳）: トランスフォーマーはマルチヘッドスケールのドットプロダクトアテンションと位置エンコーディングに基づいて構築されており、特徴表現とトークン依存性を学習することを目的としている。
本研究では, 変圧器の自己着脱機構を用いて特徴マップを拡張させることにより, 特徴表現の強化に着目する。
具体的には,次元減少前における大規模ドット製品注目のマルチヘッド出力を再重み付けする水平アテンションを提案し,異なるチャネル間の依存性を明示的にモデル化することにより,チャネルワイド特徴応答を適応的に補正する垂直アテンションを提案する。
2つの注意力を備えたトランスフォーマーモデルは,教師あり学習タスクにまたがって高い一般化能力を持ち,計算コストのオーバーヘッドも極めて小さい。
提案した水平および垂直の注意は高度にモジュール化されており、様々なトランスフォーマーモデルに挿入することでパフォーマンスをさらに向上することができる。
私たちのコードは補足資料で入手できる。
関連論文リスト
- DAPE V2: Process Attention Score as Feature Map for Length Extrapolation [63.87956583202729]
我々は特徴写像としての注意を概念化し、コンピュータビジョンにおける処理方法を模倣するために畳み込み演算子を適用した。
様々な注意関係のモデルに適応できる新しい洞察は、現在のTransformerアーキテクチャがさらなる進化の可能性があることを示している。
論文 参考訳（メタデータ） (2024-10-07T07:21:49Z) - Skip-Layer Attention: Bridging Abstract and Detailed Dependencies in Transformers [56.264673865476986]
本稿では、Transformerモデルを強化するためのSLA(Skip-Layer Attention)を提案する。
SLAは、高レベルの抽象機能と低レベルの詳細の間の依存関係をキャプチャするモデルの能力を改善します。
我々の実装は、与えられたレイヤ内のクエリが、現在のレイヤと前のレイヤの両方のキーと値とやり取りできるようにすることで、Transformerの機能を拡張します。
論文 参考訳（メタデータ） (2024-06-17T07:24:38Z) - FLatten Transformer: Vision Transformer using Focused Linear Attention [80.61335173752146]
線形注意(linear attention)は、その線形複雑性に対して、はるかに効率的な代替手段を提供する。
現在の線形アテンションアプローチは、大きなパフォーマンス劣化に悩まされるか、追加の計算オーバーヘッドを導入するかのいずれかである。
本研究では,高効率と表現性の両方を実現するために,新しいFocused Linear Attentionモジュールを提案する。
論文 参考訳（メタデータ） (2023-08-01T10:37:12Z) - Holistically Explainable Vision Transformers [136.27303006772294]
本稿では,B-cos変換器を提案する。
具体的には、各モデルコンポーネント(多層パーセプトロン、注意層、トークン化モジュールなど)を動的線形に定式化する。
提案した設計をViT(Vision Transformers)に適用し,Bcos-ViTと呼ばれるモデルが高解釈可能であり,ベースラインのViTと競合することを示す。
論文 参考訳（メタデータ） (2023-01-20T16:45:34Z) - Multi-manifold Attention for Vision Transformers [12.862540139118073]
ビジョントランスフォーマーは、いくつかのコンピュータビジョンタスクにおける最先端の性能のために、今日では非常に人気がある。
本研究では, 変圧器のバニラ自己注意の代替として, マルチマニフォールドマルチヘッドアテンションと呼ばれる新しいアテンション機構を提案する。
論文 参考訳（メタデータ） (2022-07-18T12:53:53Z) - Multiscale Vision Transformers [79.76412415996892]
本稿では,マルチスケール特徴階層をトランスフォーマモデルに結びつけることで,映像・画像認識のためのマルチスケールビジョントランス (MViT) を提案する。
我々は,視覚信号の密集性を様々な映像認識タスクでモデル化するために,この基本アーキテクチャの事前評価を行う。
論文 参考訳（メタデータ） (2021-04-22T17:59:45Z) - Evolving Attention with Residual Convolutions [29.305149185821882]
本稿では,変圧器の性能向上を目的とした新しいメカニズムを提案する。
提案された注意メカニズムは、複数のタスクに対する様々な最新モデルに対する大幅なパフォーマンス改善を実現する。
論文 参考訳（メタデータ） (2021-02-20T15:24:06Z) - Learning Hard Retrieval Decoder Attention for Transformers [69.40942736249397]
トランスフォーマー変換モデルは、容易に並列化できるマルチヘッドアテンション機構に基づいている。
ハード検索の注意機構は復号化の1.43倍高速であることを示す。
論文 参考訳（メタデータ） (2020-09-30T13:18:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。