論文の概要: CageViT: Convolutional Activation Guided Efficient Vision Transformer

• arxiv url: http://arxiv.org/abs/2305.09924v1
• Date: Wed, 17 May 2023 03:19:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-05-18 17:44:20.598971
• Title: CageViT: Convolutional Activation Guided Efficient Vision Transformer
• Title（参考訳）: CageViT: 進化的アクティベーションガイドによる高能率ビジョントランス
• Authors: Hao Zheng, Jinbao Wang, Xiantong Zhen, Hong Chen, Jingkuan Song, Feng Zheng
• Abstract要約: 本稿では,CageViTと呼ばれる効率的な視覚変換器を提案する。 私たちのCageViTは、現在のTransformersとは違って、新しいエンコーダを使用して、再配置されたトークンを処理する。 実験の結果,提案したCageViTは最新の最先端のバックボーンよりも効率の面で大きな差があることがわかった。
• 参考スコア（独自算出の注目度）: 90.69578999760206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Transformers have emerged as the go-to architecture for both vision and language modeling tasks, but their computational efficiency is limited by the length of the input sequence. To address this, several efficient variants of Transformers have been proposed to accelerate computation or reduce memory consumption while preserving performance. This paper presents an efficient vision Transformer, called CageViT, that is guided by convolutional activation to reduce computation. Our CageViT, unlike current Transformers, utilizes a new encoder to handle the rearranged tokens, bringing several technical contributions: 1) Convolutional activation is used to pre-process the token after patchifying the image to select and rearrange the major tokens and minor tokens, which substantially reduces the computation cost through an additional fusion layer. 2) Instead of using the class activation map of the convolutional model directly, we design a new weighted class activation to lower the model requirements. 3) To facilitate communication between major tokens and fusion tokens, Gated Linear SRA is proposed to further integrate fusion tokens into the attention mechanism. We perform a comprehensive validation of CageViT on the image classification challenge. Experimental results demonstrate that the proposed CageViT outperforms the most recent state-of-the-art backbones by a large margin in terms of efficiency, while maintaining a comparable level of accuracy (e.g. a moderate-sized 43.35M model trained solely on 224 x 224 ImageNet-1K can achieve Top-1 accuracy of 83.4% accuracy).
• Abstract（参考訳）: 近年、トランスフォーマーは視覚および言語モデリングタスクのゴートアーキテクチャとして登場しているが、その計算効率は入力シーケンスの長さによって制限されている。 これに対処するため、性能を維持しつつ計算を加速したりメモリ消費を減らすために、いくつかの効率的な変種が提案されている。 本稿では,コンボリューション・アクティベーション(畳み込み)によって導かれる,計算量を減らす効率的な視覚トランスフォーマーであるcasagevitを提案する。 私たちのCageViTは、現在のTransformersとは違って、新しいエンコーダを使用して、再配置されたトークンを処理する。 1) 畳み込みアクティベーション(畳み込みアクティベーション)は、画像にパッチを当てた後にトークンを前処理し、主要なトークンとマイナートークンを選択・再配置することで、追加の融合層による計算コストを大幅に削減する。 2) 畳み込みモデルのクラスアクティベーションマップを直接使用する代わりに,モデルの要件を低くするために,新たな重み付けされたクラスアクティベーションを設計する。 3) 主要トークンと融合トークンの通信を容易にするため, 融合トークンを注意機構に統合するために, Gated Linear SRAを提案する。 画像分類におけるCageViTの総合的検証を行う。 実験の結果、提案されたCageViTは最新の最先端のバックボーンよりも効率の面で優れており、同等の精度を維持している(例えば、224 x 224 ImageNet-1Kでのみトレーニングされた中程度の43.35Mモデルは、83.4%の精度でトップ1の精度を達成できる)。

関連論文リスト

• GTP-ViT: Efficient Vision Transformers via Graph-based Token Propagation [30.343504537684755]
  ビジョントランスフォーマー(ViT)はコンピュータビジョンの分野に革命をもたらしたが、リソースに制約のあるデバイスへの展開は依然として困難である。 ViTを高速化するために、トークンのプルーニングとトークンのマージアプローチが開発され、計算に関わるトークンの数を減らすことを目的としている。 本稿では,効率的なViTのためのモデル効率と情報保存のバランスをとることの課題を解決するために,グラフベースの新しいToken Propagation(GTP)手法を提案する。
  論文  参考訳（メタデータ） (2023-11-06T11:14:19Z)
• HiViT: Hierarchical Vision Transformer Meets Masked Image Modeling [126.89573619301953]
  我々はHiViT(Hierarchical ViT)という階層型視覚変換器の新しい設計を提案する。 HiViTはMIMで高い効率と優れたパフォーマンスを享受する。 ImageNet-1K上でMAEを実行する場合、HiViT-BはViT-Bよりも0.6%精度が向上し、Swin-Bよりも1.9$times$スピードアップしたと報告している。
  論文  参考訳（メタデータ） (2022-05-30T09:34:44Z)
• Three things everyone should know about Vision Transformers [67.30250766591405]
  トランスフォーマーアーキテクチャは コンピュータビジョンにおいて 急速に勢いを増しています 視覚変換器の変種をシンプルかつ容易に実装できる3つの洞察を提供する。 我々は、ImageNet-1kデータセットを用いて、これらの設計選択の影響を評価し、ImageNet-v2テストセットにおける結果を確認した。
  論文  参考訳（メタデータ） (2022-03-18T08:23:03Z)
• Multi-Tailed Vision Transformer for Efficient Inference [44.43126137573205]
  Vision Transformer (ViT) は画像認識において有望な性能を達成した。 本稿では,MT-ViT(Multi-Tailed Vision Transformer)を提案する。 MT-ViTは、以下のTransformerエンコーダのために異なる長さの視覚シーケンスを生成するために複数のテールを採用する。
  論文  参考訳（メタデータ） (2022-03-03T09:30:55Z)
• AdaViT: Adaptive Tokens for Efficient Vision Transformer [91.88404546243113]
  本稿では,視覚変換器(ViT)の推論コストを,複雑さの異なる画像に対して適応的に調整する手法であるAdaViTを紹介する。 AdaViTは、推論が進むにつれてネットワーク内で処理されるビジョントランスフォーマーのトークン数を自動で削減することで、これを実現する。
  論文  参考訳（メタデータ） (2021-12-14T18:56:07Z)
• Evo-ViT: Slow-Fast Token Evolution for Dynamic Vision Transformer [63.99222215387881]
  本稿では,視覚変換器の自己モチベーションの遅いトークン進化手法であるEvo-ViTを提案する。 本手法は,画像分類において同等の性能を維持しつつ,視覚変換器の計算コストを大幅に削減することができる。
  論文  参考訳（メタデータ） (2021-08-03T09:56:07Z)
• Patch Slimming for Efficient Vision Transformers [107.21146699082819]
  与えられたネットワーク上で冗長な計算を行うことにより,視覚変換器の効率性について検討する。 我々は、トップダウンパラダイムで無駄なパッチを捨てる、新しいパッチスリム化アプローチを提案する。 ベンチマークによる実験結果から,提案手法は視覚変換器の計算コストを大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2021-06-05T09:46:00Z)
• CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification [17.709880544501758]
  異なるサイズの画像パッチを組み合わせて、より強力な画像特徴を生成するデュアルブランチトランスを提案します。 我々のアプローチは、異なる計算複雑性の2つの別々の分岐を持つ小さなパッチトークンと大きなパッチトークンを処理します。 私たちの提案するクロスアテンションは、計算とメモリの複雑さの両方に線形時間しか必要としない。
  論文  参考訳（メタデータ） (2021-03-27T13:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。