論文の概要: BViT: Broad Attention based Vision Transformer

• arxiv url: http://arxiv.org/abs/2202.06268v2
• Date: Fri, 9 Jun 2023 06:08:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 18:45:48.450208
• Title: BViT: Broad Attention based Vision Transformer
• Title（参考訳）: bvit: 幅広い注意に基づく視覚トランスフォーマー
• Authors: Nannan Li, Yaran Chen, Weifan Li, Zixiang Ding, Dongbin Zhao
• Abstract要約: 本稿では,BViTと呼ばれる視覚変換器において,異なるレイヤの注意関係を組み込むことにより,性能向上のための広範囲な注意を喚起する。 画像分類タスクの実験は、BViTが5M/22Mパラメータを持つImageNet上で74.8%/81.6%の最先端の精度を提供することを示した。
• 参考スコア（独自算出の注目度）: 13.994231768182907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works have demonstrated that transformer can achieve promising performance in computer vision, by exploiting the relationship among image patches with self-attention. While they only consider the attention in a single feature layer, but ignore the complementarity of attention in different levels. In this paper, we propose the broad attention to improve the performance by incorporating the attention relationship of different layers for vision transformer, which is called BViT. The broad attention is implemented by broad connection and parameter-free attention. Broad connection of each transformer layer promotes the transmission and integration of information for BViT. Without introducing additional trainable parameters, parameter-free attention jointly focuses on the already available attention information in different layers for extracting useful information and building their relationship. Experiments on image classification tasks demonstrate that BViT delivers state-of-the-art accuracy of 74.8\%/81.6\% top-1 accuracy on ImageNet with 5M/22M parameters. Moreover, we transfer BViT to downstream object recognition benchmarks to achieve 98.9\% and 89.9\% on CIFAR10 and CIFAR100 respectively that exceed ViT with fewer parameters. For the generalization test, the broad attention in Swin Transformer and T2T-ViT also bring an improvement of more than 1\%. To sum up, broad attention is promising to promote the performance of attention based models. Code and pre-trained models are available at https://github.com/DRL-CASIA/Broad_ViT.
• Abstract（参考訳）: 近年の研究では、画像パッチと自己注意の関係を利用して、トランスフォーマーがコンピュータビジョンにおいて有望な性能を達成できることが示されている。 注意は単一の機能層でのみ考慮するが、異なるレベルの注意の相補性は無視する。 本稿では,BViTと呼ばれる視覚変換器の異なるレイヤの注意関係を組み込むことにより,性能向上のための幅広い注意点を提案する。 幅広い注意は、幅広い接続とパラメータフリーな注意によって実装される。 各トランス層の広帯域接続は、BViTの情報伝達と統合を促進する。 追加のトレーニング可能なパラメータを導入することなく、パラメータフリーアテンションは、有用な情報を抽出し、それらの関係を構築するために、さまざまなレイヤで既に利用可能なアテンション情報に共同でフォーカスする。 画像分類タスクの実験では、BViTは5M/22Mパラメータを持つImageNet上で74.8\%/81.6\%のトップ-1精度を提供する。 さらに、BViTを下流オブジェクト認識ベンチマークに転送し、より少ないパラメータでViTを超えるCIFAR10とCIFAR100で98.9\%と89.9\%を達成する。 一般化試験では、Swin Transformer と T2T-ViT の注目度も 1 % 以上向上した。 まとめると、広く注目されるのは、注意に基づくモデルのパフォーマンスを促進することだ。 コードと事前訓練されたモデルはhttps://github.com/DRL-CASIA/Broad_ViT.comで入手できる。

関連論文リスト

• DAT++: Spatially Dynamic Vision Transformer with Deformable Attention [87.41016963608067]
  Deformable Attention Transformer (DAT++)を提案する。 DAT++は、85.9%のImageNet精度、54.5および47.0のMS-COCOインスタンスセグメンテーションmAP、51.5のADE20KセマンティックセグメンテーションmIoUで、様々なビジュアル認識ベンチマークで最先端の結果を達成している。
  論文  参考訳（メタデータ） (2023-09-04T08:26:47Z)
• SpectFormer: Frequency and Attention is what you need in a Vision Transformer [28.01996628113975]
  視覚変換器は画像認識タスクにうまく応用されている。 スペクトルとマルチヘッドの両方が重要な役割を担っていると仮定する。 本稿では,スペクトル層と多頭部アテンション層を組み合わせたトランスフォーマーのための新しいSpectformerアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-04-13T12:27:17Z)
• A Close Look at Spatial Modeling: From Attention to Convolution [70.5571582194057]
  ビジョントランスフォーマーは最近、洞察に富んだアーキテクチャ設計とアテンションメカニズムのために、多くのビジョンタスクに対して大きな約束をしました。 我々は、自己意図の定式化を一般化し、クエリ非関連なグローバルコンテキストを直接抽象化し、グローバルコンテキストを畳み込みに統合する。 FCViT-S12は14M未満のパラメータを持つため、ImageNet-1K上でのResT-Liteの精度は3.7%向上した。
  論文  参考訳（メタデータ） (2022-12-23T19:13:43Z)
• Vicinity Vision Transformer [53.43198716947792]
  線形複雑度を有する視覚変換器に局所性バイアスを導入するビシニティ注意法を提案する。 提案手法は,従来の手法よりも50%少ないパラメータで,最先端の画像分類精度を実現する。
  論文  参考訳（メタデータ） (2022-06-21T17:33:53Z)
• Visualizing and Understanding Patch Interactions in Vision Transformer [96.70401478061076]
  Vision Transformer (ViT) は様々なコンピュータビジョンタスクにおいて主要なツールとなっている。 本稿では,視覚変換器のパッチ間の重要な注意相互作用を分析し,解釈するための,説明可能な新しい可視化手法を提案する。
  論文  参考訳（メタデータ） (2022-03-11T13:48:11Z)
• ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for Image Recognition and Beyond [76.35955924137986]
  我々は、内在性IBを畳み込み、すなわちViTAEから探索するビジョントランスフォーマーを提案する。 ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。 我々は、ImageNet検証セット上で88.5%のTop-1分類精度と、ImageNet実検証セット上で最高の91.2%のTop-1分類精度を得る。
  論文  参考訳（メタデータ） (2022-02-21T10:40:05Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。