Fugu-MT 論文翻訳(概要): FMViT: A multiple-frequency mixing Vision Transformer

論文の概要: FMViT: A multiple-frequency mixing Vision Transformer

arxiv url: http://arxiv.org/abs/2311.05707v1
Date: Thu, 9 Nov 2023 19:33:50 GMT
ステータス: 処理完了
システム内更新日: 2023-11-13 16:48:23.369518
Title: FMViT: A multiple-frequency mixing Vision Transformer
Title（参考訳）: FMViT:マルチ周波数混合ビジョントランス
Authors: Wei Tan, Yifeng Geng, Xuansong Xie
Abstract要約: FMViT という名前の効率的なハイブリッド ViT アーキテクチャを提案する。このアプローチは、高周波の特徴と低周波の特徴を様々な周波数でブレンドし、ローカル情報とグローバル情報の両方を効果的に捉えることができる。我々は、FMViTが既存のCNN、ViT、CNNTransformerのハイブリッドアーキテクチャを、様々なビジョンタスクのレイテンシ/精度トレードオフの観点から上回っていることを実証した。
参考スコア（独自算出の注目度）: 17.609263967586926
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The transformer model has gained widespread adoption in computer vision tasks in recent times. However, due to the quadratic time and memory complexity of self-attention, which is proportional to the number of input tokens, most existing Vision Transformers (ViTs) encounter challenges in achieving efficient performance in practical industrial deployment scenarios, such as TensorRT and CoreML, where traditional CNNs excel. Although some recent attempts have been made to design CNN-Transformer hybrid architectures to tackle this problem, their overall performance has not met expectations. To tackle these challenges, we propose an efficient hybrid ViT architecture named FMViT. This approach enhances the model's expressive power by blending high-frequency features and low-frequency features with varying frequencies, enabling it to capture both local and global information effectively. Additionally, we introduce deploy-friendly mechanisms such as Convolutional Multigroup Reparameterization (gMLP), Lightweight Multi-head Self-Attention (RLMHSA), and Convolutional Fusion Block (CFB) to further improve the model's performance and reduce computational overhead. Our experiments demonstrate that FMViT surpasses existing CNNs, ViTs, and CNNTransformer hybrid architectures in terms of latency/accuracy trade-offs for various vision tasks. On the TensorRT platform, FMViT outperforms Resnet101 by 2.5% (83.3% vs. 80.8%) in top-1 accuracy on the ImageNet dataset while maintaining similar inference latency. Moreover, FMViT achieves comparable performance with EfficientNet-B5, but with a 43% improvement in inference speed. On CoreML, FMViT outperforms MobileOne by 2.6% in top-1 accuracy on the ImageNet dataset, with inference latency comparable to MobileOne (78.5% vs. 75.9%). Our code can be found at https://github.com/tany0699/FMViT.
Abstract（参考訳）: トランスフォーマーモデルは近年、コンピュータビジョンのタスクに広く採用されている。しかし、入力トークンの数に比例する自己注意の2次時間とメモリの複雑さのため、既存のViT(Vision Transformer)のほとんどは、従来のCNNが優れているTensorRTやCoreMLのような実用的な産業展開シナリオにおいて、効率的なパフォーマンスを実現する上での課題に直面している。この問題に対処するためにCNN-Transformerハイブリッドアーキテクチャを設計する試みは近年行われているが、全体的な性能は期待に届かなかった。これらの課題に対処するため、FMViTと呼ばれる効率的なハイブリッドViTアーキテクチャを提案する。このアプローチは、高周波特性と低周波特性と異なる周波数を混合することにより、モデルの表現力を高め、ローカル情報とグローバル情報の両方を効果的に捉えることができる。さらに,畳み込み型マルチグループ再パラメータ化(gMLP)や軽量型マルチヘッド自己注意(RLMHSA),畳み込み型融合ブロック(CFB)などのデプロイフレンドリーな機構を導入し,モデルの性能向上と計算オーバーヘッドの低減を図る。実験の結果,FMViTは既存のCNN,ViT,CNNTransformerのハイブリッドアーキテクチャを,様々なビジョンタスクのレイテンシ/精度トレードオフの観点から上回っていることがわかった。 TensorRTプラットフォームでは、FMViTは、同様の推論レイテンシを維持しながら、ImageNetデータセットのトップ1の精度でResnet101を2.5%(83.3%対80.8%)上回る。さらに fmvit は efficientnet-b5 と同等の性能を実現しているが、推論速度は 43% 向上している。 CoreMLでは、FMViTは、ImageNetデータセットでMobileOneを2.6%上回り、推論レイテンシはMobileOne(78.5%対75.9%)に匹敵する。私たちのコードはhttps://github.com/tany0699/fmvitにあります。

関連論文リスト

EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention [44.148667664413004]
我々はEfficientViTという高速視覚変換器群を提案する。既存のトランスモデルの速度は、一般にメモリ非効率な演算によって制限される。この問題に対処するため,異なるスプリットのアテンションヘッドを刺激するグループアテンションモジュールを提案する。
論文参考訳（メタデータ） (2023-05-11T17:59:41Z)
FastViT: A Fast Hybrid Vision Transformer using Structural Reparameterization [14.707312504365376]
我々は、最先端のレイテンシ-精度トレードオフを得るハイブリッドビジョントランスフォーマーアーキテクチャであるFastViTを紹介する。我々は,当社のモデルがCMTの3.5倍,EfficientNetの4.9倍,モバイルデバイスのConvNeXtの1.9倍で,ImageNetデータセットと同じ精度であることを示す。
論文参考訳（メタデータ） (2023-03-24T17:58:32Z)
Rethinking Vision Transformers for MobileNet Size and Speed [58.01406896628446]
本稿では,低レイテンシでパラメータ効率の高い新しいスーパーネットを提案する。また,変圧器モデルに対して,よりきめ細かな共同探索戦略を導入する。この研究は、MobileNetレベルのサイズと速度であっても、適切に設計され、最適化されたビジョントランスフォーマーがハイパフォーマンスを実現することを実証している。
論文参考訳（メタデータ） (2022-12-15T18:59:12Z)
Lightweight Vision Transformer with Cross Feature Attention [6.103065659061625]
畳み込みニューラルネットワーク(CNN)は空間的帰納バイアスを利用して視覚表現を学習する。 ViTは自己認識メカニズムを使ってグローバルな表現を学ぶことができるが、通常は重く、モバイルデバイスには適さない。我々はトランスのコスト削減のためにクロスフィーチャーアテンション(XFA)を提案し、効率的なモバイルCNNを組み合わせて新しい軽量CNN-ViTハイブリッドモデルXFormerを構築した。
論文参考訳（メタデータ） (2022-07-15T03:27:13Z)
Next-ViT: Next Generation Vision Transformer for Efficient Deployment in Realistic Industrial Scenarios [19.94294348122248]
ほとんどの視覚変換器(ViT)は、現実的な産業展開シナリオにおいて、畳み込みニューラルネットワーク(CNN)ほど効率的に動作できない。現実的な産業シナリオ,すなわちNext-ViTにおける効率的な展開のための次世代ビジョントランスフォーマーを提案する。 Next-ViTはレイテンシ/精度トレードオフの観点からCNNとViTの両方を支配している。
論文参考訳（メタデータ） (2022-07-12T12:50:34Z)
EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications [68.35683849098105]
入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。 1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
論文参考訳（メタデータ） (2022-06-21T17:59:56Z)
EfficientFormer: Vision Transformers at MobileNet Speed [43.93223983817965]
Vision Transformers (ViT) はコンピュータビジョンタスクの急速な進歩を示し、様々なベンチマークで有望な結果を得た。 ViTベースのモデルは一般的に、軽量な畳み込みネットワークの倍遅い。近年,ネットワークアーキテクチャ検索やMobileNetブロックによるハイブリッド設計によるViTの複雑さの低減が試みられているが,推論速度はまだ不十分である。
論文参考訳（メタデータ） (2022-06-02T17:51:03Z)
EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Vision Transformers [88.52500757894119]
自己注意に基づく視覚変換器(ViT)は、コンピュータビジョンにおける畳み込みニューラルネットワーク(CNN)に代わる、非常に競争力のあるアーキテクチャとして登場した。われわれはEdgeViTsを紹介した。これは新しい軽量ViTのファミリーで、注目に基づく視覚モデルが初めて、最高の軽量CNNと競合することを可能にする。
論文参考訳（メタデータ） (2022-05-06T18:17:19Z)
CMT: Convolutional Neural Networks Meet Vision Transformers [68.10025999594883]
画像内の長距離依存関係をキャプチャできるため、画像認識タスクに視覚トランスフォーマーがうまく適用されている。変圧器と既存の畳み込みニューラルネットワーク(CNN)の間には、パフォーマンスと計算コストの差がまだ残っている。長距離依存関係をキャプチャするトランスフォーマーと、局所的な特徴をモデル化するCNNを利用して、新しいトランスフォーマーベースのハイブリッドネットワークを提案する。特に、私たちのCMT-SはImageNetで83.5%、FLOPでは14倍、EfficientNetでは2倍の精度を実現しています。
論文参考訳（メタデータ） (2021-07-13T17:47:19Z)
When Vision Transformers Outperform ResNets without Pretraining or Strong Data Augmentations [111.44860506703307]
Vision Transformer (ViTs) と既存のVisionNetsは、ハンドワイヤ機能やインダクティブスループットを汎用神経アーキテクチャに置き換えようとしている。本稿では、損失幾何学のレンズからViTとRes-Mixersを解析し、トレーニングおよび推論時のモデルのデータ効率を改善することを目的とする。最初の数層では、スペーサー活動ニューロンの頑健性が改善していることが示されている。その結果、ViTsは、大規模な事前トレーニングや強力なデータ拡張なしに、ImageNet上でスクラッチからトレーニングした時に、同様のサイズと滑らかさのネットより優れています。
論文参考訳（メタデータ） (2021-06-03T02:08:03Z)
Vision Transformers are Robust Learners [65.91359312429147]
ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
論文参考訳（メタデータ） (2021-05-17T02:39:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。