論文の概要: ParFormer: Vision Transformer Baseline with Parallel Local Global Token Mixer and Convolution Attention Patch Embedding
- arxiv url: http://arxiv.org/abs/2403.15004v1
- Date: Fri, 22 Mar 2024 07:32:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 18:27:45.600122
- Title: ParFormer: Vision Transformer Baseline with Parallel Local Global Token Mixer and Convolution Attention Patch Embedding
- Title(参考訳): ParFormer: ローカル・グローバル・トーケン・ミキサーとコンボリューション・アテンション・パッチ・埋め込みを併用したビジョントランスフォーマーベースライン
- Authors: Novendra Setyawan, Ghufron Wahyu Kurniawan, Chi-Chia Sun, Jun-Wei Hsieh, Hui-Kai Su, Wen-Kai Kuo,
- Abstract要約: ParFormerは、異なるトークンミキサーを単一のステージに組み込むことができる拡張トランスフォーマーアーキテクチャである。
我々は、トークンミキサー抽出を改善するために標準パッチ埋め込みの強化として、CAPE(Convolutional Attention Patch Embedding)を提供する。
11M,23M,34Mのモデル変種はそれぞれ80.4%,82.1%,83.1%のスコアを得た。
- 参考スコア(独自算出の注目度): 3.4140488674588614
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work presents ParFormer as an enhanced transformer architecture that allows the incorporation of different token mixers into a single stage, hence improving feature extraction capabilities. Integrating both local and global data allows for precise representation of short- and long-range spatial relationships without the need for computationally intensive methods such as shifting windows. Along with the parallel token mixer encoder, We offer the Convolutional Attention Patch Embedding (CAPE) as an enhancement of standard patch embedding to improve token mixer extraction with a convolutional attention module. Our comprehensive evaluation demonstrates that our ParFormer outperforms CNN-based and state-of-the-art transformer-based architectures in image classification and several complex tasks such as object recognition. The proposed CAPE has been demonstrated to benefit the overall MetaFormer architecture, even while utilizing the Identity Mapping Token Mixer, resulting in a 0.5\% increase in accuracy. The ParFormer models outperformed ConvNeXt and Swin Transformer for the pure convolution and transformer model in accuracy. Furthermore, our model surpasses the current leading hybrid transformer by reaching competitive Top-1 scores in the ImageNet-1K classification test. Specifically, our model variants with 11M, 23M, and 34M parameters achieve scores of 80.4\%, 82.1\%, and 83.1\%, respectively. Code: https://github.com/novendrastywn/ParFormer-CAPE-2024
- Abstract(参考訳): この作業では、ParFormerを、異なるトークンミキサーを単一のステージに組み込むことができる拡張トランスフォーマーアーキテクチャとして提示し、機能抽出機能を改善する。
局所的データと大域的データを統合することで、シフトウィンドウのような計算集約的な手法を必要とせずに、短距離空間関係と長距離空間関係を正確に表現することができる。
並列トークンミキサーエンコーダとともに、コンボリューショナルアテンションパッチ埋め込み(CAPE)を標準パッチ埋め込みの強化として提供し、コンボリューショナルアテンションモジュールによるトークンミキサー抽出を改善する。
包括的評価により,私たちのParFormerは画像分類やオブジェクト認識などの複雑なタスクにおいて,CNNベースおよび最先端のトランスフォーマーベースアーキテクチャよりも優れていることが示された。
提案したCAPEは、アイデンティティマッピングのToken Mixerを利用しても、MetaFormerアーキテクチャ全体のメリットを享受できることが実証されている。
ParFormerモデルは、純粋な畳み込みとトランスフォーマーモデルの精度で、ConvNeXtとSwin Transformerより優れていた。
さらに,本モデルでは,ImageNet-1K分類テストにおいて,競合するTop-1スコアに到達することで,現行のリードハイブリッドトランスフォーマーを上回っている。
具体的には,11M,23M,34Mパラメータのモデル変種は,それぞれ80.4\%,82.1\%,83.1\%のスコアを得る。
コード:https://github.com/novendrastywn/ParFormer-CAPE-2024
関連論文リスト
- U-MixFormer: UNet-like Transformer with Mix-Attention for Efficient
Semantic Segmentation [0.0]
CNNベースのU-Netは、高解像度の医療画像とリモートセンシングにおいて大きな進歩を遂げている。
この2つの成功は、両方の長所をマージするきっかけとなり、U-Netベースの視覚変換器デコーダが誕生しました。
本稿では,U-Net構造上に構築され,効率的なセマンティックセグメンテーションのために設計された新しいトランスフォーマデコーダU-MixFormerを提案する。
論文 参考訳(メタデータ) (2023-12-11T10:19:42Z) - SCHEME: Scalable Channer Mixer for Vision Transformers [52.605868919281086]
視覚変換器は多くの視覚タスクにおける印象的な性能のために大きな注目を集めている。
特徴混合が高密度接続に取って代わり,これをブロック対角構造で確認できるかどうかを検討した。
SCHEMEformerの新しいモデル群は、FLOPS、精度、モデルサイズ、精度、スループットの新たなフロンティアを確立する。
論文 参考訳(メタデータ) (2023-12-01T08:22:34Z) - MixFormerV2: Efficient Fully Transformer Tracking [49.07428299165031]
トランスフォーマーベースのトラッカーは標準ベンチマークで高い精度を実現している。
しかし、その効率性は、GPUとCPUプラットフォームの両方での実践的なデプロイの障害であり続けている。
本稿では,EmphMixFormerV2と呼ばれるフルトランスフォーマートラッキングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-25T09:50:54Z) - Fcaformer: Forward Cross Attention in Hybrid Vision Transformer [29.09883780571206]
ハイブリッド・ビジョン・トランス(FcaFormer)のための前方クロスアテンションを提案する。
私たちのFcaFormerは1630万のパラメータと約36億のMACでImagenetの83.1%のトップ-1の精度を実現しています。
これにより、ほぼ半分のパラメータといくつかの計算コストを節約し、蒸留されたEfficientFormerよりも0.7%高い精度を達成できる。
論文 参考訳(メタデータ) (2022-11-14T08:43:44Z) - TokenMixup: Efficient Attention-guided Token-level Data Augmentation for
Transformers [8.099977107670917]
TokenMixupは効果的な注意誘導型トークンレベルのデータ拡張手法である。
TokenMixupの亜種はトークンをひとつのインスタンスに混ぜて、マルチスケールの機能拡張を可能にする。
実験の結果,CIFARおよびImageNet-1Kにおけるベースラインモデルの性能は有意に向上した。
論文 参考訳(メタデータ) (2022-10-14T06:36:31Z) - Global Context Vision Transformers [78.5346173956383]
我々は,コンピュータビジョンのパラメータと計算利用を向上する新しいアーキテクチャであるGC ViT(Global context vision transformer)を提案する。
本稿では,ViTにおける帰納バイアスの欠如に対処し,アーキテクチャにおける可溶性逆残差ブロックを改良して活用することを提案する。
提案したGC ViTは,画像分類,オブジェクト検出,セマンティックセマンティックセグメンテーションタスクにまたがる最先端の処理結果を実現する。
論文 参考訳(メタデータ) (2022-06-20T18:42:44Z) - Adaptive Split-Fusion Transformer [90.04885335911729]
本稿では,適応重みによる畳み込みと注目の分岐を異なる方法で扱うための適応分割変換器(ASF-former)を提案する。
ImageNet-1Kのような標準ベンチマークの実験では、我々のASFフォーマーはCNN、トランスフォーマー、ハイブリッドパイロットを精度で上回っている。
論文 参考訳(メタデータ) (2022-04-26T10:00:28Z) - CSWin Transformer: A General Vision Transformer Backbone with
Cross-Shaped Windows [99.36226415086243]
汎用視覚タスクのための効率的なトランスフォーマーベースバックボーンCSWin Transformerを提案する。
トランスフォーマー設計における課題は、グローバルな自己アテンションが計算に非常に高価であるのに対して、ローカルな自己アテンションはトークン間の相互作用のフィールドを制限することが多いことである。
論文 参考訳(メタデータ) (2021-07-01T17:59:56Z) - Visual Saliency Transformer [127.33678448761599]
RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。
イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。
実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
論文 参考訳(メタデータ) (2021-04-25T08:24:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。