論文の概要: Scale-Aware Modulation Meet Transformer

• arxiv url: http://arxiv.org/abs/2307.08579v1
• Date: Mon, 17 Jul 2023 15:47:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 12:39:22.007440
• Title: Scale-Aware Modulation Meet Transformer
• Title（参考訳）: スケール・アウェア Modulation Meet Transformer
• Authors: Weifeng Lin, Ziheng Wu, Jiayu Chen, Jun Huang, Lianwen Jin
• Abstract要約: 本稿では、新しい視覚変換器、スケールアウェア変調変換器(SMT)を提案する。 SMTは、畳み込みネットワークと視覚変換器を組み合わせることで、様々な下流タスクを効率的に処理できる。
• 参考スコア（独自算出の注目度）: 28.414901658729107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a new vision Transformer, Scale-Aware Modulation Transformer (SMT), that can handle various downstream tasks efficiently by combining the convolutional network and vision Transformer. The proposed Scale-Aware Modulation (SAM) in the SMT includes two primary novel designs. Firstly, we introduce the Multi-Head Mixed Convolution (MHMC) module, which can capture multi-scale features and expand the receptive field. Secondly, we propose the Scale-Aware Aggregation (SAA) module, which is lightweight but effective, enabling information fusion across different heads. By leveraging these two modules, convolutional modulation is further enhanced. Furthermore, in contrast to prior works that utilized modulations throughout all stages to build an attention-free network, we propose an Evolutionary Hybrid Network (EHN), which can effectively simulate the shift from capturing local to global dependencies as the network becomes deeper, resulting in superior performance. Extensive experiments demonstrate that SMT significantly outperforms existing state-of-the-art models across a wide range of visual tasks. Specifically, SMT with 11.5M / 2.4GFLOPs and 32M / 7.7GFLOPs can achieve 82.2% and 84.3% top-1 accuracy on ImageNet-1K, respectively. After pretrained on ImageNet-22K in 224^2 resolution, it attains 87.1% and 88.1% top-1 accuracy when finetuned with resolution 224^2 and 384^2, respectively. For object detection with Mask R-CNN, the SMT base trained with 1x and 3x schedule outperforms the Swin Transformer counterpart by 4.2 and 1.3 mAP on COCO, respectively. For semantic segmentation with UPerNet, the SMT base test at single- and multi-scale surpasses Swin by 2.0 and 1.1 mIoU respectively on the ADE20K.
• Abstract（参考訳）: 本稿では,畳み込みネットワークと視覚トランスを組み合わせることで,様々な下流タスクを効率的に処理できる新しいビジョントランスであるスケールアウェア変調トランス(smt)を提案する。 SMT で提案されているスケール・アウェア・変調 (SAM) には2つの新しい設計が含まれている。 まず,マルチヘッド混合畳み込み(mhmc)モジュールについて紹介する。 次に,SAAモジュールを提案する。SAAモジュールは軽量だが有効であり,異なる頭部をまたいだ情報融合を可能にする。 これら2つのモジュールを活用することで、畳み込み変調はさらに強化される。 さらに,全段階にわたって変調を利用して注意を払わないネットワークを構築する先行研究とは対照的に,ネットワークの深化に伴って局所的依存からグローバル的依存へのシフトを効果的にシミュレートできる進化的ハイブリッドネットワーク(ehn)を提案する。 大規模な実験により、SMTは様々な視覚的タスクにおいて既存の最先端モデルよりも大幅に優れていることが示された。 具体的には、11.5M / 2.4GFLOPs と 32M / 7.7GFLOPs の SMT は ImageNet-1K の 82.2% と 84.3% のトップ-1 の精度が得られる。 imagenet-22kを224^2解像度で事前トレーニングした後、解像度224^2と384^2で微調整すると、87.1%と88.1%のtop-1精度が得られる。 Mask R-CNNによる物体検出では、1xと3xのスケジュールで訓練されたSMTベースがCOCOのSwin Transformerの4.2と1.3mAPを上回っている。 UPerNetとのセマンティックセグメンテーションでは、シングルスケールとマルチスケールのSMTベーステストがADE20Kでそれぞれ2.0mIoUと1.1mIoUを上回っている。

関連論文リスト

• GroupMamba: Parameter-Efficient and Accurate Group Visual State Space Model [66.35608254724566]
  状態空間モデル(SSM)は、二次的複雑性を伴う長距離依存のモデリングにおいて効果的な性能を示した。 しかし、純粋なSSMベースのモデルは、コンピュータビジョンタスクにおける安定性と最適性能の達成に関連する課題に直面している。 本稿では,コンピュータビジョンのためのSSMベースのモデルをスケールする上での課題,特に大規模モデルの不安定性と非効率性について論じる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:58Z)
• Mixture-of-Modules: Reinventing Transformers as Dynamic Assemblies of Modules [96.21649779507831]
  そこで我々は,Mix-of-modules (MoM) と呼ばれる新しいアーキテクチャを提案する。 MoMは、任意の層がその位置に関係なくトークンを計算することができるという直感によって動機付けられている。 MoMはトランスフォーマーのための統一されたフレームワークを提供するだけでなく、冗長性を減らすための柔軟で学習可能なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-07-09T08:50:18Z)
• Reduced Precision Floating-Point Optimization for Deep Neural Network On-Device Learning on MicroControllers [15.37318446043671]
  本稿では,MCUクラスデバイス上でのオンデバイス学習(ODL)プリミティブに対して,新しい精度最適化手法を提案する。 我々のアプローチは、シングルコアMCUのための既存のODLソフトウェアフレームワークよりも2桁以上高速である。
  論文  参考訳（メタデータ） (2023-05-30T16:14:16Z)
• EATFormer: Improving Vision Transformer Inspired by Evolutionary Algorithm [111.17100512647619]
  本稿では、実証された実用的な進化的アルゴリズム(EA)と類似したビジョントランスフォーマーの合理性を説明する。 本稿では,EA ベースのトランス (EAT) ブロックのみを含む新しいピラミッド EATFormer バックボーンを提案する。 画像分類,下流タスク,説明実験に関する大規模かつ定量的な実験は,我々のアプローチの有効性と優位性を示すものである。
  論文  参考訳（メタデータ） (2022-06-19T04:49:35Z)
• A Battle of Network Structures: An Empirical Study of CNN, Transformer, and MLP [121.35904748477421]
  畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンのための支配的なディープニューラルネットワーク(DNN)アーキテクチャである。 トランスフォーマーとマルチ層パーセプトロン(MLP)ベースのモデル(Vision TransformerやVision-Mixer)が新しいトレンドを導い始めた。 本稿では,これらのDNN構造について実証的研究を行い,それぞれの長所と短所を理解しようとする。
  論文  参考訳（メタデータ） (2021-08-30T06:09:02Z)
• CMT: Convolutional Neural Networks Meet Vision Transformers [68.10025999594883]
  画像内の長距離依存関係をキャプチャできるため、画像認識タスクに視覚トランスフォーマーがうまく適用されている。 変圧器と既存の畳み込みニューラルネットワーク(CNN)の間には、パフォーマンスと計算コストの差がまだ残っている。 長距離依存関係をキャプチャするトランスフォーマーと、局所的な特徴をモデル化するCNNを利用して、新しいトランスフォーマーベースのハイブリッドネットワークを提案する。 特に、私たちのCMT-SはImageNetで83.5%、FLOPでは14倍、EfficientNetでは2倍の精度を実現しています。
  論文  参考訳（メタデータ） (2021-07-13T17:47:19Z)
• Simplified Self-Attention for Transformer-based End-to-End Speech Recognition [56.818507476125895]
  本稿では,プロジェクション層の代わりにFSMNメモリブロックを用いてクエリとキーベクトルを生成する,簡易な自己アテンション層(SSAN)を提案する。 我々は,公的なAISHELL-1,1000時間内,20,000時間大規模マンダリンタスクにおけるSSANベースおよび従来のSANベースのトランスフォーマーの評価を行った。
  論文  参考訳（メタデータ） (2020-05-21T04:55:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。