論文の概要: Exploring Self-attention for Image Recognition
- arxiv url: http://arxiv.org/abs/2004.13621v1
- Date: Tue, 28 Apr 2020 16:01:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 23:27:44.232443
- Title: Exploring Self-attention for Image Recognition
- Title（参考訳）: 画像認識のための自己注意の探索
- Authors: Hengshuang Zhao, Jiaya Jia, Vladlen Koltun
- Abstract要約: 画像認識における自己注意の2つの形態について考察する。
ひとつは、標準的なドット積の注意を一般化する、ペアワイズな自己注意である。
もう1つはパッチワイドな自己認識であり、畳み込みよりも厳格に強力です。
- 参考スコア（独自算出の注目度）: 151.12000247183636
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work has shown that self-attention can serve as a basic building block
for image recognition models. We explore variations of self-attention and
assess their effectiveness for image recognition. We consider two forms of
self-attention. One is pairwise self-attention, which generalizes standard
dot-product attention and is fundamentally a set operator. The other is
patchwise self-attention, which is strictly more powerful than convolution. Our
pairwise self-attention networks match or outperform their convolutional
counterparts, and the patchwise models substantially outperform the
convolutional baselines. We also conduct experiments that probe the robustness
of learned representations and conclude that self-attention networks may have
significant benefits in terms of robustness and generalization.
- Abstract（参考訳）: 近年の研究では、自己注意が画像認識モデルの基本的なビルディングブロックとして機能することが示されている。
自己着脱の多様性を調査し,画像認識における有効性を評価する。
我々は2種類の自己注意を考える。
これは標準的な点積の注意を一般化し、基本的には集合作用素である。
もう1つはパッチワイドな自己認識であり、畳み込みよりも厳格に強力です。
我々のペアワイズ・セルフアテンション・ネットワークは、彼らの畳み込みベースラインにマッチまたは上回り、パッチワイズモデルは畳み込みベースラインを大幅に上回ります。
また、学習した表現の頑健さを探索する実験を行い、自己注意ネットワークは頑健性と一般化の観点から大きな利益をもたらす可能性があると結論づける。
関連論文リスト
- Dual Cross-Attention Learning for Fine-Grained Visual Categorization and
Object Re-Identification [19.957957963417414]
本稿では,自己意図学習と協調する2つのクロスアテンション学習(DCAL)アルゴリズムを提案する。
まず,グローバル・ローカル・クロスアテンション(GLCA)を提案する。
第2に、画像ペア間の相互作用を確立するために、ペアワイズ・クロスアテンション(PWCA)を提案する。
論文 参考訳（メタデータ） (2022-05-04T16:14:26Z) - Understanding The Robustness in Vision Transformers [140.1090560977082]
自己注意は、改善された中レベルの表現を通して堅牢性を促進する。
我々は、この能力を強化するために、フルアテンショナルネットワーク(FAN)のファミリーを提案する。
我々のモデルは、76.8Mパラメータを持つImageNet-1kおよびImageNet-C上で、最先端の87.1%の精度と35.8%のmCEを達成する。
論文 参考訳（メタデータ） (2022-04-26T17:16:32Z) - Alignment Attention by Matching Key and Query Distributions [48.93793773929006]
本稿では,各ヘッダ内のキーとクエリの分布を一致させる自己注意を促すアライメントアテンションアテンションアテンションアテンションアテンションを導入している。
事前学習したモデルを含む自己注意のモデルはすべて、提案したアライメントアテンションアテンションアテンションに変換することが簡単である。
様々な言語理解タスクにおいて, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃に対する堅牢性などの手法の有効性を示す。
論文 参考訳（メタデータ） (2021-10-25T00:54:57Z) - Counterfactual Attention Learning for Fine-Grained Visual Categorization
and Re-identification [101.49122450005869]
本稿では,因果推論に基づくより効果的な注意力学習法を提案する。
具体的には,学習した視覚的注意がネットワーク予測に与える影響を分析する。
本手法は,広範囲の粒度認識タスクにおいて評価する。
論文 参考訳（メタデータ） (2021-08-19T14:53:40Z) - SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。
事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。
本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-25T14:13:44Z) - Deep Reinforced Attention Learning for Quality-Aware Visual Recognition [73.15276998621582]
我々は,任意の畳み込みニューラルネットワークにおける中間注意マップの弱教師付き生成機構を構築した。
メタ批評家ネットワークを導入し、メインネットワークにおける注目マップの質を評価する。
論文 参考訳（メタデータ） (2020-07-13T02:44:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。