論文の概要: Pale Transformer: A General Vision Transformer Backbone with Pale-Shaped Attention

• arxiv url: http://arxiv.org/abs/2112.14000v1
• Date: Tue, 28 Dec 2021 05:37:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-31 06:04:11.424902
• Title: Pale Transformer: A General Vision Transformer Backbone with Pale-Shaped Attention
• Title（参考訳）: Pale Transformer: Pale-Shaped Attention 付き汎用視覚変換器バックボーン
• Authors: Sitong Wu, Tianyi Wu, Haoru Tan, Guodong Guo
• Abstract要約: そこで我々は,淡い形の領域内で自己注意を行うPale-Shaped Self-Attentionを提案する。 グローバルな自己アテンションと比較すると、PS-Attentionは計算とメモリコストを大幅に削減できる。 モデルサイズ22M, 48M, 85Mで, 83.4%, 84.3%, 84.9%のTop-1精度を実現する。
• 参考スコア（独自算出の注目度）: 28.44439386445018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, Transformers have shown promising performance in various vision tasks. To reduce the quadratic computation complexity caused by the global self-attention, various methods constrain the range of attention within a local region to improve its efficiency. Consequently, their receptive fields in a single attention layer are not large enough, resulting in insufficient context modeling. To address this issue, we propose a Pale-Shaped self-Attention (PS-Attention), which performs self-attention within a pale-shaped region. Compared to the global self-attention, PS-Attention can reduce the computation and memory costs significantly. Meanwhile, it can capture richer contextual information under the similar computation complexity with previous local self-attention mechanisms. Based on the PS-Attention, we develop a general Vision Transformer backbone with a hierarchical architecture, named Pale Transformer, which achieves 83.4%, 84.3%, and 84.9% Top-1 accuracy with the model size of 22M, 48M, and 85M respectively for 224 ImageNet-1K classification, outperforming the previous Vision Transformer backbones. For downstream tasks, our Pale Transformer backbone performs better than the recent state-of-the-art CSWin Transformer by a large margin on ADE20K semantic segmentation and COCO object detection & instance segmentation. The code will be released on https://github.com/BR-IDL/PaddleViT.
• Abstract（参考訳）: 近年、トランスフォーマーは様々な視覚タスクにおいて有望な性能を示している。 グローバルな自己注意によって引き起こされる二次計算の複雑さを低減するため、各手法は局所領域内の注意範囲を制限し、効率を向上する。 その結果、単一の注意層における受容場は十分に大きくなく、結果としてコンテキストモデリングが不十分となる。 この問題に対処するため,淡い領域内で自己注意を行うPale-Shaped Self-Attention (PS-Attention)を提案する。 グローバルな自己注意と比較して、PS-Attentionは計算とメモリコストを大幅に削減できる。 一方、従来のローカルな自己認識機構と同様の計算複雑性の下で、よりリッチなコンテキスト情報をキャプチャすることができる。 また,PS-Attentionに基づいて,Pale Transformerという階層構造を持つ一般的なVision Transformerバックボーンを開発し,モデルサイズが22M,48M,85Mで,それぞれ83.4%,84.3%,84.9%のTop-1精度を実現した。 ダウンストリームタスクでは、ade20kのセマンティクスセグメンテーションとcocoオブジェクト検出とインスタンスセグメンテーションにおいて、最近の最先端のcswinトランスフォーマーよりもパフォーマンスが優れています。 コードはhttps://github.com/br-idl/paddlevitでリリースされる。

関連論文リスト

• Isomer: Isomerous Transformer for Zero-shot Video Object Segmentation [59.91357714415056]
  コンテクスト共有変換器(CST)とセマンティックガザリング散乱変換器(SGST)の2つの変種を提案する。 CSTは、軽量な計算により、画像フレーム内のグローバル共有コンテキスト情報を学習し、SGSTは、前景と背景のセマンティック相関を別々にモデル化する。 多段核融合にバニラ変換器を使用するベースラインと比較して,我々は13倍の速度向上を実現し,新しい最先端ZVOS性能を実現する。
  論文  参考訳（メタデータ） (2023-08-13T06:12:00Z)
• Global Context Vision Transformers [78.5346173956383]
  我々は,コンピュータビジョンのパラメータと計算利用を向上する新しいアーキテクチャであるGC ViT(Global context vision transformer)を提案する。 本稿では,ViTにおける帰納バイアスの欠如に対処し,アーキテクチャにおける可溶性逆残差ブロックを改良して活用することを提案する。 提案したGC ViTは,画像分類,オブジェクト検出,セマンティックセマンティックセグメンテーションタスクにまたがる最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2022-06-20T18:42:44Z)
• MISSU: 3D Medical Image Segmentation via Self-distilling TransUNet [55.16833099336073]
  医用画像セグメンテーションのためのトランスフォーマーベースUNetを提案する。 グローバルな意味情報と局所的な空間的詳細特徴を同時に学習する。 MISSUは従来の最先端手法よりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2022-06-02T07:38:53Z)
• Vision Transformer with Deformable Attention [29.935891419574602]
  大規模な、時としてグローバルな受信フィールドは、CNNモデルよりも高い表現力を持つTransformerモデルを提供する。 本稿では,キーと値ペアの位置をデータ依存的に選択する,変形可能な新しい自己保持モジュールを提案する。 画像分類と重み付き予測の両方に変形性を考慮した一般的なバックボーンモデルであるDeformable Attention Transformerを提案する。
  論文  参考訳（メタデータ） (2022-01-03T08:29:01Z)
• Local-to-Global Self-Attention in Vision Transformers [130.0369761612812]
  トランスフォーマーはコンピュータビジョンタスクに大きな可能性を示した。 最近のTransformerモデルは階層設計を採用しており、セルフアテンションはローカルウィンドウ内でのみ計算される。 この設計は効率を大幅に改善するが、早い段階ではグローバルな特徴推論が欠如している。 本研究では,トランスフォーマーのマルチパス構造を設計し,各ステージにおける複数の粒度での局所的・言語的推論を可能にする。
  論文  参考訳（メタデータ） (2021-07-10T02:34:55Z)
• CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windows [99.36226415086243]
  汎用視覚タスクのための効率的なトランスフォーマーベースバックボーンCSWin Transformerを提案する。 トランスフォーマー設計における課題は、グローバルな自己アテンションが計算に非常に高価であるのに対して、ローカルな自己アテンションはトークン間の相互作用のフィールドを制限することが多いことである。
  論文  参考訳（メタデータ） (2021-07-01T17:59:56Z)
• Focal Self-attention for Local-Global Interactions in Vision Transformers [90.9169644436091]
  局所的局所的相互作用と粗大な大域的相互作用の両方を包含する新しいメカニズムである焦点自己アテンションを提示する。 焦点自己アテンションを用いて、最先端の視覚変換器よりも優れた性能を実現する、Focal Transformerと呼ばれる新しい視覚変換器モデルを提案する。
  論文  参考訳（メタデータ） (2021-07-01T17:56:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。