論文の概要: ParFormer: Vision Transformer Baseline with Parallel Local Global Token Mixer and Convolution Attention Patch Embedding

• arxiv url: http://arxiv.org/abs/2403.15004v1
• Date: Fri, 22 Mar 2024 07:32:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 18:27:45.600122
• Title: ParFormer: Vision Transformer Baseline with Parallel Local Global Token Mixer and Convolution Attention Patch Embedding
• Title（参考訳）: ParFormer: ローカル・グローバル・トーケン・ミキサーとコンボリューション・アテンション・パッチ・埋め込みを併用したビジョントランスフォーマーベースライン
• Authors: Novendra Setyawan, Ghufron Wahyu Kurniawan, Chi-Chia Sun, Jun-Wei Hsieh, Hui-Kai Su, Wen-Kai Kuo,
• Abstract要約: ParFormerは、異なるトークンミキサーを単一のステージに組み込むことができる拡張トランスフォーマーアーキテクチャである。 我々は、トークンミキサー抽出を改善するために標準パッチ埋め込みの強化として、CAPE(Convolutional Attention Patch Embedding)を提供する。 11M,23M,34Mのモデル変種はそれぞれ80.4%,82.1%,83.1%のスコアを得た。
• 参考スコア（独自算出の注目度）: 3.4140488674588614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work presents ParFormer as an enhanced transformer architecture that allows the incorporation of different token mixers into a single stage, hence improving feature extraction capabilities. Integrating both local and global data allows for precise representation of short- and long-range spatial relationships without the need for computationally intensive methods such as shifting windows. Along with the parallel token mixer encoder, We offer the Convolutional Attention Patch Embedding (CAPE) as an enhancement of standard patch embedding to improve token mixer extraction with a convolutional attention module. Our comprehensive evaluation demonstrates that our ParFormer outperforms CNN-based and state-of-the-art transformer-based architectures in image classification and several complex tasks such as object recognition. The proposed CAPE has been demonstrated to benefit the overall MetaFormer architecture, even while utilizing the Identity Mapping Token Mixer, resulting in a 0.5\% increase in accuracy. The ParFormer models outperformed ConvNeXt and Swin Transformer for the pure convolution and transformer model in accuracy. Furthermore, our model surpasses the current leading hybrid transformer by reaching competitive Top-1 scores in the ImageNet-1K classification test. Specifically, our model variants with 11M, 23M, and 34M parameters achieve scores of 80.4\%, 82.1\%, and 83.1\%, respectively. Code: https://github.com/novendrastywn/ParFormer-CAPE-2024
• Abstract（参考訳）: この作業では、ParFormerを、異なるトークンミキサーを単一のステージに組み込むことができる拡張トランスフォーマーアーキテクチャとして提示し、機能抽出機能を改善する。 局所的データと大域的データを統合することで、シフトウィンドウのような計算集約的な手法を必要とせずに、短距離空間関係と長距離空間関係を正確に表現することができる。 並列トークンミキサーエンコーダとともに、コンボリューショナルアテンションパッチ埋め込み(CAPE)を標準パッチ埋め込みの強化として提供し、コンボリューショナルアテンションモジュールによるトークンミキサー抽出を改善する。 包括的評価により,私たちのParFormerは画像分類やオブジェクト認識などの複雑なタスクにおいて,CNNベースおよび最先端のトランスフォーマーベースアーキテクチャよりも優れていることが示された。 提案したCAPEは、アイデンティティマッピングのToken Mixerを利用しても、MetaFormerアーキテクチャ全体のメリットを享受できることが実証されている。 ParFormerモデルは、純粋な畳み込みとトランスフォーマーモデルの精度で、ConvNeXtとSwin Transformerより優れていた。 さらに,本モデルでは,ImageNet-1K分類テストにおいて,競合するTop-1スコアに到達することで,現行のリードハイブリッドトランスフォーマーを上回っている。 具体的には,11M,23M,34Mパラメータのモデル変種は,それぞれ80.4\%,82.1\%,83.1\%のスコアを得る。 コード:https://github.com/novendrastywn/ParFormer-CAPE-2024

関連論文リスト

• Quasar-ViT: Hardware-Oriented Quantization-Aware Architecture Search for Vision Transformers [56.37495946212932]
  視覚変換器(ViT)は、畳み込みニューラルネットワーク(CNN)と比較して、コンピュータビジョンタスクにおいて優れた精度を示す。 ハードウェア指向の量子化対応アーキテクチャ検索フレームワークであるQuasar-ViTを提案する。
  論文  参考訳（メタデータ） (2024-07-25T16:35:46Z)
• SeTformer is What You Need for Vision and Language [26.036537788653373]
  自己最適化輸送(SeT)は、より良い性能と計算効率を実現するための新しいトランスフォーマーである。 SeTformerは、ImageNet-1Kで84.7%、86.2%という印象的なトップ1アキュラシーを達成した。 SeTformerはGLUEベンチマークで言語モデリングの最先端の結果も達成している。
  論文  参考訳（メタデータ） (2024-01-07T16:52:49Z)
• Edge-MoE: Memory-Efficient Multi-Task Vision Transformer Architecture with Task-level Sparsity via Mixture-of-Experts [60.1586169973792]
  M$3$ViTは、Mix-of-experts (MoE)を導入した最新のマルチタスクViTモデルである。 MoEは精度の向上と80%以上の削減計算を実現しているが、FPGAに効率的なデプロイを行う上での課題は残されている。 Edge-MoEと呼ばれる私たちの研究は、アーキテクチャの革新の集合を伴って、マルチタスクのViTのための最初のエンドツーエンドFPGAアクセラレータを導入するという課題を解決します。
  論文  参考訳（メタデータ） (2023-05-30T02:24:03Z)
• EdgeYOLO: An Edge-Real-Time Object Detector [69.41688769991482]
  本稿では, 最先端のYOLOフレームワークをベースとした, 効率的で低複雑さかつアンカーフリーな物体検出器を提案する。 我々は,訓練中の過剰適合を効果的に抑制する拡張データ拡張法を開発し,小型物体の検出精度を向上させるためにハイブリッドランダム損失関数を設計する。 私たちのベースラインモデルは、MS 2017データセットで50.6%のAP50:95と69.8%のAP50、VisDrone 2019-DETデータセットで26.4%のAP50と44.8%のAP50に達し、エッジコンピューティングデバイスNvidia上でリアルタイム要求(FPS>=30)を満たす。
  論文  参考訳（メタデータ） (2023-02-15T06:05:14Z)
• EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications [68.35683849098105]
  入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。 1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。 パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2022-06-21T17:59:56Z)
• EdgeFormer: Improving Light-weight ConvNets by Learning from Vision Transformers [29.09883780571206]
  We propose EdgeFormer, a pure ConvNet based backbone model。 我々は、大域的な円形の畳み込み(GCC)と、軽量な畳み込みオペである位置埋め込みを組み合わせる。 実験の結果,提案するEdgeFormerは,一般的な軽量なConvNetやビジョントランスフォーマーベースモデルよりも優れた性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-03-08T09:25:17Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Pipeline Parallelism for Inference on Heterogeneous Edge Computing [9.745025902229882]
  コンピュータビジョン(CV)と自然言語処理(NLP)におけるタスクの最先端結果を実現するモデルサイズが大きいディープニューラルネットワーク これらの大規模モデルは、リソース制約のあるエッジデバイスには計算集約的すぎるか、メモリ集約的すぎる。 パイプライン並列性を使用して推論を高速化し、単一エッジデバイスに適合しない大規模なモデルの実行を可能にするエッジシステム用の分散フレームワークであるEdgePipeを提案する。
  論文  参考訳（メタデータ） (2021-10-28T05:20:51Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。