論文の概要: A Close Look at Spatial Modeling: From Attention to Convolution
- arxiv url: http://arxiv.org/abs/2212.12552v1
- Date: Fri, 23 Dec 2022 19:13:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 13:30:07.131545
- Title: A Close Look at Spatial Modeling: From Attention to Convolution
- Title（参考訳）: 空間モデリングの概観:注意から進化へ
- Authors: Xu Ma, Huan Wang, Can Qin, Kunpeng Li, Xingchen Zhao, Jie Fu, Yun Fu
- Abstract要約: ビジョントランスフォーマーは最近、洞察に富んだアーキテクチャ設計とアテンションメカニズムのために、多くのビジョンタスクに対して大きな約束をしました。
我々は、自己意図の定式化を一般化し、クエリ非関連なグローバルコンテキストを直接抽象化し、グローバルコンテキストを畳み込みに統合する。
FCViT-S12は14M未満のパラメータを持つため、ImageNet-1K上でのResT-Liteの精度は3.7%向上した。
- 参考スコア（独自算出の注目度）: 70.5571582194057
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision Transformers have shown great promise recently for many vision tasks
due to the insightful architecture design and attention mechanism. By
revisiting the self-attention responses in Transformers, we empirically observe
two interesting issues. First, Vision Transformers present a queryirrelevant
behavior at deep layers, where the attention maps exhibit nearly consistent
contexts in global scope, regardless of the query patch position (also
head-irrelevant). Second, the attention maps are intrinsically sparse, few
tokens dominate the attention weights; introducing the knowledge from ConvNets
would largely smooth the attention and enhance the performance. Motivated by
above observations, we generalize self-attention formulation to abstract a
queryirrelevant global context directly and further integrate the global
context into convolutions. The resulting model, a Fully Convolutional Vision
Transformer (i.e., FCViT), purely consists of convolutional layers and firmly
inherits the merits of both attention mechanism and convolutions, including
dynamic property, weight sharing, and short- and long-range feature modeling,
etc. Experimental results demonstrate the effectiveness of FCViT. With less
than 14M parameters, our FCViT-S12 outperforms related work ResT-Lite by 3.7%
top1 accuracy on ImageNet-1K. When scaling FCViT to larger models, we still
perform better than previous state-of-the-art ConvNeXt with even fewer
parameters. FCViT-based models also demonstrate promising transferability to
downstream tasks, like object detection, instance segmentation, and semantic
segmentation. Codes and models are made available at:
https://github.com/ma-xu/FCViT.
- Abstract（参考訳）: ビジョントランスフォーマーは最近、洞察に富んだアーキテクチャ設計とアテンションメカニズムのために、多くのビジョンタスクに対して大きな約束をしました。
トランスフォーマーの自己注意応答を再考することにより,2つの興味深い問題を経験的に観察する。
まず、Vision Transformersは深い層でクエリ非関連な振る舞いを示し、アテンションマップはクエリパッチの位置(ヘッド非関連)に関わらず、グローバルスコープでほぼ一貫したコンテキストを示す。
第二に、注意マップは本質的に疎外であり、注意重みを左右するトークンはほとんどなく、ConvNetsからの知識の導入は、注意を円滑にし、パフォーマンスを高めるだろう。
上述の観察により、自己意図の定式化を一般化し、クエリ非関連なグローバルコンテキストを直接抽象化し、グローバルコンテキストを畳み込みにさらに統合する。
結果として得られたモデルであるFCViT(Fully Convolutional Vision Transformer)は、純粋に畳み込み層で構成され、動的特性、重み付け、短距離特徴モデリングなど、注意機構と畳み込みの両方の利点をしっかりと継承する。
実験結果はfcvitの有効性を示す。
FCViT-S12は14M未満のパラメータを持つため、ImageNet-1K上でのResT-Liteの精度は3.7%向上した。
FCViTを大規模モデルにスケールする場合、パラメータがさらに少ない従来のConvNeXtよりもパフォーマンスがよい。
FCViTベースのモデルは、オブジェクト検出、インスタンスセグメンテーション、セマンティックセグメンテーションといった下流タスクへの有望な転送可能性を示す。
コードとモデルは、https://github.com/ma-xu/fcvitで利用可能である。
関連論文リスト
- CAS-ViT: Convolutional Additive Self-attention Vision Transformers for Efficient Mobile Applications [59.193626019860226]
ビジョントランスフォーマー(ViT)は、トークンミキサーの強力なグローバルコンテキスト能力によって、ニューラルネットワークの革命的な進歩を示す。
CAS-ViT: Convolutional Additive Self-attention Vision Transformersを紹介する。
我々はCAS-ViTが他の最先端のバックボーンと比較して競争力を発揮することを示す。
論文 参考訳（メタデータ） (2024-08-07T11:33:46Z) - ACC-ViT : Atrous Convolution's Comeback in Vision Transformers [5.224344210588584]
我々は,地域情報とグローバル情報の両方を適応的に統合できる,地域的・疎外的な注意の融合であるAtrous Attentionを紹介した。
また、標準的な視覚タスクの慣行に従って、ACC-ViTと呼ばれる一般的な視覚変換器のバックボーンを提案する。
そのためACC-ViTは強力なビジョンバックボーンであり、小さなデータセットを持つニッチアプリケーションには理想的だ。
論文 参考訳（メタデータ） (2024-03-07T04:05:16Z) - DAT++: Spatially Dynamic Vision Transformer with Deformable Attention [87.41016963608067]
Deformable Attention Transformer (DAT++)を提案する。
DAT++は、85.9%のImageNet精度、54.5および47.0のMS-COCOインスタンスセグメンテーションmAP、51.5のADE20KセマンティックセグメンテーションmIoUで、様々なビジュアル認識ベンチマークで最先端の結果を達成している。
論文 参考訳（メタデータ） (2023-09-04T08:26:47Z) - Lightweight Vision Transformer with Bidirectional Interaction [63.65115590184169]
本研究では,視覚変換器の局所的・グローバル的情報をモデル化するためのFASA機構を提案する。
FASAに基づいて、我々はFAT(Fully Adaptive Transformer)ファミリーという軽量なビジョンバックボーンのファミリーを開発した。
論文 参考訳（メタデータ） (2023-06-01T06:56:41Z) - Understanding The Robustness in Vision Transformers [140.1090560977082]
自己注意は、改善された中レベルの表現を通して堅牢性を促進する。
我々は、この能力を強化するために、フルアテンショナルネットワーク(FAN)のファミリーを提案する。
我々のモデルは、76.8Mパラメータを持つImageNet-1kおよびImageNet-C上で、最先端の87.1%の精度と35.8%のmCEを達成する。
論文 参考訳（メタデータ） (2022-04-26T17:16:32Z) - BViT: Broad Attention based Vision Transformer [13.994231768182907]
本稿では,BViTと呼ばれる視覚変換器において,異なるレイヤの注意関係を組み込むことにより,性能向上のための広範囲な注意を喚起する。
画像分類タスクの実験は、BViTが5M/22Mパラメータを持つImageNet上で74.8%/81.6%の最先端の精度を提供することを示した。
論文 参考訳（メタデータ） (2022-02-13T09:23:29Z) - Vision Transformer with Deformable Attention [29.935891419574602]
大規模な、時としてグローバルな受信フィールドは、CNNモデルよりも高い表現力を持つTransformerモデルを提供する。
本稿では,キーと値ペアの位置をデータ依存的に選択する,変形可能な新しい自己保持モジュールを提案する。
画像分類と重み付き予測の両方に変形性を考慮した一般的なバックボーンモデルであるDeformable Attention Transformerを提案する。
論文 参考訳（メタデータ） (2022-01-03T08:29:01Z) - CvT: Introducing Convolutions to Vision Transformers [44.74550305869089]
畳み込み視覚変換器(CvT)は、視覚変換器(ViT)の性能と効率を向上する。
新しいアーキテクチャはViTに畳み込み、両方の設計で最高のものを生み出す。
論文 参考訳（メタデータ） (2021-03-29T17:58:22Z) - DeepViT: Towards Deeper Vision Transformer [92.04063170357426]
近年,視覚変換器 (ViT) が画像分類タスクに応用されている。
より畳み込み層を積み重ねることで改善できる畳み込みニューラルネットワーク(CNN)とは異なり、ViTの性能はより深いスケールで飽和する。
本研究では,アテンションマップの多様性を高めるために,アテンションマップを再生成する手法であるre-attentionを提案する。
論文 参考訳（メタデータ） (2021-03-22T14:32:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。